用户识别指从网络日志记录中识别相应的用户, 是建立用户与日志之间一对一或者一对多关系的重要步骤。一般来说, 可以基于访问IP地址、Cookie标志或者用户注册信息, 以提高用户识别的准确性^[18]。然而, 在现实生活中, 考虑用户隐私数据获取的难度及用户隐私保护的必要性, 最常用的方法是通过IP地址进行用户识别^{[19,20,21,22]}。本研究采用基于IP的用户识别方法, 获得用户列表, 建立每个用户与访问内容之间的关联。具体而言, 每个用户对应一个访问记录表, 里面存放用户在研究时间段内的所有访问记录, 为后续进行会话识别做好准备。

会话是指用户在一次访问中, 从进入站点到离开站点过程中产生的一系列活动。在较大的时间跨度内, 用户可能产生多次访问, 会话识别的目的是将用户的多次请求划分到不同的访问中^[23], 最常用的方法为基于时间阈值的会话识别^{[22,23,24,25,26]}。本文对用户访问请求进行时间序列分割, 再结合时间阈值进行会话识别, 具体过程描述如下。

(1) 依据选定的时间粒度, 将用户u_i的访问请求划分到不同的N个时间段内, 形成按时间排序的访问子行为, 得到非空访问序列, 如公式(1)所示。

${{Q}_{i}}({{T}_{i}})={{\{{{q}_{i}}(t_{i}^{1}),\cdot \cdot \cdot ,{{q}_{i}}(t_{i}^{n}),\cdot \cdot \cdot ,{{q}_{i}}(t_{i}^{N})\}}_{{}}}n=1,2,\cdot \cdot \cdot ,N$ (1)

其中, ${{Q}_{i}}({{T}_{i}})$表示用户u_i在时间段T_i内的所有访问内容; ${{q}_{i}}(t_{i}^{N})$为用户u_i在时间$t_{i}^{n}$内的访问内容。用户访问行为随时间变化, 某些时间内用户进行访问操作, WMTS响应用户新提交的访问请求; 而有些时候, 用户因进行信息浏览、记录、交谈等行为, 不再对服务器提交新的访问请求。

(2) 相邻访问内容${{q}_{i}}(t_{i}^{n}),{{q}_{i}}(t_{i}^{n+1})$之间的时间差可以表示如公式(2)所示。

$\Delta t=|t_{i}^{n}-t_{i}^{n+1}{{|}_{{}}}n=1,2,\cdot \cdot \cdot ,N$ (2)

当$\Delta t$超过设定的时间阈值$\Delta {{t}_{0}}$时, 认为当前两个访问行为分属u_i的不同会话。据此将用户在一天之内的访问记录分割成M个不同的会话(M<N), 表达形式如公式(3)所示。

$\begin{align} & {{Q}_{i}}({{T}_{i}})=\{S_{i}^{1}(T_{i}^{1}),\cdot \cdot \cdot ,S_{i}^{m}(T_{i}^{m}),\cdot \cdot \cdot ,S_{i}^{M}(T_{i}^{M}) \\ & m=\text{1},\text{2},\cdot \cdot \cdot ,M \\ \end{align}$ (3)

其中, m为该用户访问会话编号, $S_{i}^{m}(T_{i}^{m})$ $(m=\text{1},\text{2},\cdot \cdot \cdot ,M)$为用户u_i在时间段$T_{i}^{m}$内进行的第m个会话的访问内容。$\Delta {{t}_{0}}$的选取方法将在3.1节具体给出。通过上述方法, 将用户访问记录分割成不 同的会话, 并在此基础上进行后续时空分布模式的研究。

在WMTS访问会话中, 针对用户产生的不同访问操作, 服务器端将返回不同图层的地图瓦片数据。为准确识别出用户访问中心(AT), 本文设计了一种基于空间连续性的用户访问中心识别方法。该方法的主要思想是: 位于相同图层的瓦片$til{{e}_{a}}$和$til{{e}_{b}}$, 若$til{{e}_{a}}$与$til{{e}_{b}}$的距离在经纬度方向上均不超过两个瓦片单元, 则认为瓦片$til{{e}_{b}}$处于瓦片$til{{e}_{a}}$的空间连续范围内。瓦片空间连续范围示意图如图1所示, 以瓦片$til{{e}_{a}}$为中心, 略大于4个瓦片单元为边长的正方形范围是瓦片$til{{e}_{a}}$的空间连续范围(绿色区域), 所有落入其中的瓦片均被认为与瓦片$til{{e}_{a}}$空间连续。

用户访问中心的识别过程包含以下步骤:

(1) 将用户u_i在当前会话中的访问请求(以r表示)按时间排序: $S_{i}^{m}(T_{i}^{m})=\{{{r}_{1}},{{r}_{2}},\cdot \cdot \cdot ,{{r}_{{{k}_{m}}}}\}$, 其中m为当前会话编号, k_m为当前会话中的访问请求总数;

(2) 统计用户访问瓦片图层, 设最高图层为${{l}_{\max }}$, 提取出图层为${{l}_{\max }}$的访问记录, 存储到集合S₀中;

(3) 取S₀中第一条记录, 其瓦片行列号记作种子坐标(${{X}_{0}},{{Y}_{0}}$), 将其存储在当前访问中心集合${{S}_{AOI}}$中;

(4) 由种子坐标计算其空间连续范围, 计算方法如公式(4)所示, 统计${{S}_{0}}$中落入当前空间连续范围的瓦片, 将其从${{S}_{0}}$转移到${{S}_{AOI}}$中;

(5) 根据步骤(4)中的规则, 利用新落入${{S}_{AOI}}$的瓦片, 计算其空间连续范围, 探测是否有新的瓦片与其空间相连, 重复该步骤直至不再有新的瓦片落入${{S}_{AOI}}$; 计算${{S}_{AOI}}$中所有点的经纬度平均值, 作为当前访问中心坐标;

(6) 判断${{S}_{0}}$是否为空, 若为空, 则当前会话访问中心的提取工作结束; 否则, 利用更新后的${{S}_{0}}$, 重复步骤(3)-步骤(5)。

$\left[ \begin{matrix} {{X}_{\min }} & {{X}_{\max }} \\ {{Y}_{\min }} & {{Y}_{\max }} \\\end{matrix} \right]=\left[ \begin{matrix} {{X}_{0}}-2 & {{X}_{0}}+2 \\ {{Y}_{0}}-2 & {{Y}_{0}}+2 \\\end{matrix} \right]$ (4)

用户访问中心提取过程示例如图2所示, 要提取当前会话中的用户访问中心, 首先选取编号为1的瓦片, 计算其空间连续范围, 发现瓦片2-9在其范围内; 根据瓦片2-9获得新的空间连续范围, 瓦片10-12在其范围内; 根据瓦片10-12获得新的空间连续范围, 不再有新的瓦片落入其中, 当前访问中心的识别工作结束, 计算所有落入瓦片的经纬度平均值, 作为当前访问中心的坐标。

服从幂律分布的数据具有以下特征: 大量低值存在于头部而少量高值存在于尾部^[27]。通过首尾分割法, 可以更好地描述数据分层情况, 解释整体数据分布的复杂性^[27,28,29]。传统首尾分割分类方法侧重于对“尾部”数据的层层划分, 即不断提取平均值以上的观测值^[29]; 本研究旨在提取用户访问的空间范围, 侧重于空间距离范围内AT的概率分布, 需要对访问距离小于均值、但数量占比超过50%的“头部”数据进行层层划分。改进后的首尾分割法将访问距离的均值作为阈值, 对所有数据进行分割, 若均值以下的观测所占比例超过50%, 则继续对均值以内的访问距离进行循环分割, 直到均值以内的数量占比小于50%。计算方法如公 式(5)-公式(6)所示。

$mea{{n}_{H}}=\frac{\mathop{\sum }_{h=1}^{{{N}_{H}}}di{{s}_{hH}}}{{{N}_{H}}}$ (5)

$hea{{d}_{H}}=\frac{\mathop{\sum }_{i=1}^{{{N}_{H}}}(di{{s}_{hH}}<mea{{n}_{H}})}{{{N}_{H}}}$ (6)

其中, H为当前循环的次数, N_H为当前循环中AT总个数, $di{{s}_{hH}}$表示第H次循环中, 第h个AT与其访问用户所在地之间的访问距离, $mea{{n}_{H}}$为第H轮访问距离的均值, $hea{{d}_{H}}$为第h轮中小于均值的AT个数在第H轮总数中所占的比值。通过上述分割方法, 可以获得各访问距离的数量分布及在总体中的占比情况。

(1) 数据介绍

天地图是中国国家测绘地理信息局(现已并入国家自然资源部)建设的地理信息综合服务网站, 以门户网站和服务接口两种形式向公众、企业、专业部门、政府部门提供地理信息服务。当用户访问WMTS时, 服务器首先根据用户所在位置以及当前浏览器窗口的大小, 自动调取用户所在城市或省份地图瓦片, 铺满用户访问的浏览器界面。用户在网络地图界面进行平移、缩放、地图类型变更等操作, 都将对服务器产生新的访问请求。用户在一次访问行为中发出的请求数与浏览器窗口大小以及访问瓦片类型(底图、注记)有关。本文以天地图服务器端的用户访问日志为研究数据源, 选用2017年1月8日-2017年1月31日时间段内的访问记录。该日志以秒为最小时间粒度, 记录下用户访问的详细信息, 包含IP、日期与时间、请求方法、访问内容、响应状态、字节数、来源网址等信息。

(2) 访问日志数据预处理

数据预处理的主要目的有三个:

①去除与本研究无关的字段和存在关键信息缺失的记录;

②提取有用信息、进行格式化存储, 如IP、时间, 、瓦片行列号、图层、类型等;

③尽可能消除机器用户对用户访问行为研究的影响。

本研究利用前人研究成果, 基于对天地图日志数据的统计分析, 选定合适的数据预处理阈值, 进行会话识别与筛选工作^[7,8]。

对2017年1月8日-2017年1月31日内访问的所有IP进行地址解析, 获得所有国内访问用户列表。统计每个会话的瓦片请求量, 得到各请求量的频次分布, 如图3(a)所示。该分布在访问量为50处出现明显断层, 且随着请求量不断增大, 用户量不断减小。去除对当日总访问量的贡献超过10万次(对日总访问量贡献率为0.05%)或小于50次的IP访问记录, 以避免机器用户和网页链接两种无意识访问行为对研究结果造成影响^[16]。在后续研究中, 本文进一步利用会话特征做更严格的筛选。

同时, 剔除访问天数过少的用户, 以减小偶然性访问带来的影响。统计用户u_i在2017年1月8日-2017年1月31日内访问的总天数, 存储为<u_i,D_i>。其中, D_i为用户u_i的总访问天数。本研究探讨中高访问频率用户进行网络地图访问的时空特征, 需去除访问天数过少的用户, 以总研究天数的10%为最小阈值。进行用户筛选后, 得到满足条件的各访问频度用户量分布如图3(b)所示。可知, 用户对WMTS的需求强度具有较大差异性: 少量用户存在很强的地理信息需求, 对WMTS基本做到每日访问; 多数用户访问WMTS的频度较低。这是因为WMTS访问频度和用户对某个区域的熟悉程度成反比。大部分用户的生活、工作区域相对固定, 对周围环境很熟悉, 访问WMTS主要是由于周末或假期出游; 少量用户由于工作性质或其他原因, 需要经常访问WMTS以获取地理信息。

(3) 访问会话筛选

用户筛选工作完成后, 需要进行会话识别。为选取会话识别的最佳时间阈值, 以2秒为最小时间间隔, 统计所有用户访问记录相邻操作时间间隔的分布情况, 绘制其累计分布概率如图4所示。其分布函数如公式(7)所示。

$P\text{(}x\le {{x}_{A}}\text{)}=\sum\nolimits_{0}^{A}{p({{x}_{a}})}$ (7)

其中, x_a表示X轴上用户相邻操作之间的时间间隔, 单位为秒, 且有x₀=2; p(x_a)表示该时间间隔的分布概率。由图4可知, 在600秒处, 时间间隔的累计概率达到97%, 且于600秒后呈平稳状态, 因此选取10分钟作为会话识别的时间阈值。若用户两个相邻访问的请求时间差超过10分钟, 则这两个请求将被划分到不同的会话之中。

选取4个指标描述用户访问的时间属性特征, 分别是: 日访问会话数、会话持续时长、会话中访问请求数以及会话中瓦片访问速度, 存储为<${{u}_{i}}$,$d$,${{M}_{i}}$, $s{{t}^{m}}$,$s{{c}^{m}}$,$s{{p}^{m}}$>6元组的形式(d∈[1,2,···,${{D}_{i}}$], m∈[1,2,···, ${{M}_{i}}$])。其中, d表示用户${{u}_{i}}$当前访问日期, ${{M}_{i}}$为用户${{u}_{i}}$在第d天内的访问会话数。$s{{t}^{m}}$表示会话m持续时长, $s{{c}^{m}}$为会话m中访问请求数, $s{{p}^{m}}$表示会话m中瓦片的平均访问速度, 三者均为向量。$s{{p}^{m}}$实际表示在当前用户访问会话中, 平均每个瓦片被访问的时间, 计算方式如公式(8)所示。这样处理是为了避免$s{{t}^{m}}$为0的情况。

$s{{p}^{m}}=\frac{s{{t}^{m}}}{s{{c}^{m}}}$ (8)

对共计837 005个会话进行统计分析, 用户日访问会话数、会话持续时长、会话中访问请求数以及访问速度的分布情况如图5所示, 分析可得以下结论。

(1) 图5(a)表明, 用户在一天之内访问较为集中, 会话数量有限。10次以内的访问会话数量集中了超过90%的用户; 约80%的用户日访问会话数量不超过5个, 且有60%的用户日会话数量仅为1-2次; 随着日访问会话量的增大, 用户量的累计概率增长速度迅速下降, 说明日访问会话数量较多的用户所占比例很小。总体而言, 大部分用户进行WMTS访问时, 具有较强的目的性; 多数用户通过1-2次访问满足自己的地理信息需求, 少数用户存在多次访问。在后续关于会话空间分布特征研究中, 进一步探索用户访问会话在空间的转移特征。

(2) 图5(b)表明, 用户进行WMTS访问具有短时高效特征。绝大部分访问会话的持续时间不超过60分钟; 少量会话持续时间异常, 甚至达到一天。去除访问时长超过60分钟的会话, 进行会话中访问瓦片数量和访问速度的研究。

(3) 图5(c)从请求数量的角度, 同样论证了用户访问简洁高效的特征。绝大部分会话的访问请求数集中在50-1 000次; 少量会话具有很高的访问强度, 在单次会话中访问大量瓦片。

(4) 图5(d)表明, 用户对地图瓦片的访问速度分布差异性较大。在绝大多数会话中, 单个瓦片平均访问时长不超过10秒, 会话累计概率达到94%, 且超过85%集中在0.1-5秒范围内。访问速度受多种因素影响, 如网速快慢、用户对WMTS操作的熟悉程度、用户对查询位置的熟悉程度和需求情况等。此外, 用户在访问过程中因进行其他活动而暂停访问, 如记录、交谈、暂时离开等, 都将使时间变量高于实际值, 即公式(8)中分子变大。导致部分会话中单个瓦片平均访问时长较大, 甚至达到20秒。

与此同时, 观测到图5(b)-图5(d)的图形具有明显的“胖尾”特征, 且幂指数分布在1-3之间, 与人类行为动力学研究中关于网页浏览、邮件发送等行为的幂指数相近^[30], 说明用户WMTS访问行为具有幂律特征, 大多数用户的访问行为短时简洁高效, 具有明显的需求导向特征。

将上述时间属性特征与用户所在省份进行关联, 获得全国34个省级行政区域的用户访问会话特征差异分布情况, 如图6所示。

在WMTS中, 瓦片图层越高, 所含地理信息越丰富细致, 更能体现用户的访问需求。利用2.2节中设计的AT识别算法, 获得用户访问中心, 共计256 420个。某用户当前访问会话内容在地图上的分布如图7中红色点所示(颜色由浅到深代表AT随时间转移)。本文从省份、城市、距离三个角度出发, 探究用户所在地与访问中心之间的空间关系。

(1) 省份关系: 将用户和AT的省份关系投射到一张34×34的表格中, 累计共有1 156种访问组合。横坐标表示用户所在省份, 纵坐标表示AT所在省份。统计每种访问组合在24天之内访问AT数量的平均值, 对其进行归一化处理, 并以点的大小可视化展现AT数量均值的大小, 如图8所示。可知, 对角线上的点远远大于其他位置的点, 说明用户访问以省内访问为主, 且广西、浙江、山东、四川、广东、辽宁、江苏等省份位列前茅。在非省内访问中, 北京-广东、江苏-湖南、北京-河北的访问组合所占比例较大。

(2) 城市关系: 由于全国城市众多(共计334个地级行政区划^①(①数据来源: http://xzqh.mca.gov.cn/statistics/2017.html.)), 用户所在地与访问中心的组合情况过万。本文重点研究同城访问组合在所有组合中的排名情况, 记录结果如表1所示。可知, 同城访问AT数量较大、排名靠前, 且随着排名逐渐下降, 同城访问所占比例逐渐下降, 说明同城访问是主要的访问形式。

(3) 距离关系: 计算每个AT与其访问用户所在位置(用户所在城市中心点)的大圆航线距离, 利用2.3节基于首尾分割法的用户所在地与访问中心空间距离分类方法, 可得访问距离分类及占比情况如表2所示。可以发现, 超过57%的用户, 访问中心的位置在其所在位置的112千米范围内, 说明大部分用户需求集中在其所在城市周边, 验证了城市关系研究的结论; 少量用户对远距离的区域进行访问。由于在第5次划分中, 尾部数量占比小于50%, 所以划分到第4次结束。距离分布的具体情况如图9所示, 图中y轴的概率为当前区间在所有AT中所占的比例。结合表2和图9可以发现, 30%用户所在地与AT距离小, 集中在城市中心点43千米范围内。