1 引 言
随着互联网+人工智能技术和应用的不断发展普及, 人们越来越多地利用智能手机全面提升生活品质, 例如通过智能手机满足自身的衣食住行需求, 或利用其快速高效的移动网络传播信息等。根据德勤发布的《2018科技、传媒和电信行业预测》报告[1 ] 预测, 2018年发达国家中智能手机在成年人群的市场占有率为85%, 到2023年末这一比例将超过90%。与此对应, 每天使用智能手机的用户比例, 将从2018年的93%上升至2023年的96%。伴随着智能手机的频繁使用, 用户将产生大量的历史活动轨迹数据, 因此, 借助智能手机可以更加便捷地获取犯罪嫌疑人的历史活动轨迹数据。这些轨迹数据主要由地理位置信息和对应的时间信息构成, 可以进一步挖掘出大量有价值的情报, 比如犯罪嫌疑人活动的热点区域(家、公司、犯罪地点等)、出行路线、犯罪模式等。犯罪空间情报分析专家Rossmo提出犯罪调查的关键在于如何确定犯罪嫌疑人潜藏的地理位置[2 ] 。因此, 基于历史活动轨迹的犯罪地理位置预测技术一直以来都是公安工作的研究热点之一, 但是由于犯罪活动本身的隐蔽性以及犯罪嫌疑人的反侦查行为, 如何准确地预测犯罪分子的位置也一直是公安工作的难点所在。
由于历史轨迹的数据特征具有时空特性, 传统的位置预测通常采用马尔可夫模型[3 ,4 ,5 ,6 ,7 ] 学习特征的时间连续性, 但是大部分马尔可夫模型的方法往往依赖矩阵计算, 会导致存储空间的急剧膨胀和零频率问题。尤为重要的是, 由于算法的局限性, 马尔可夫模型通常只能依赖前一个状态信息, 并不能记忆之前更多的历史状态。针对上述缺点, 同时考虑到轨迹数据在空间上的相关性和时间上的连续性, 本文提出基于长短记忆型卷积神经网络的犯罪地理位置预测方法: 利用卷积神经网络(Convolutional Neural Network, CNN)[8 ] 提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后基于长短记忆型神经网络(Long Short Term Memory, LSTM)[9 ] 学习位置特征在时间维度上的连续性, 得到下一个位置的准确预测。在真实轨迹数据集GeoLife[10 ] 上, 本文提出的方法可以很好地挖掘空间相关性和时间连续性, 提高犯罪地理位置预测的精确度。
2 研究综述
位置预测方法在平安城市升级到智慧城市的建设过程中发挥着巨大作用, 公安机关可以利用准确的地理预测位置发现犯罪线索, 搜集犯罪情报, 甚至可以直接对犯罪嫌疑人快速定位、秘密跟踪、监控或抓捕。比如, 案件快速侦破的关键通常在于对犯罪分子的快速定位和迅速抓捕, 犯罪嫌疑人往往有一定的反侦查能力, 在实施犯罪前一般会对犯罪现场进行踩点, 实施犯罪后会有意躲避监控探头, 丢弃作案手机, 处于“隐身”状态, 而位置预测方法可以利用犯罪嫌疑人的历史活动轨迹数据推荐其可能的位置定位, 即计算得到快速排查可以忍受的最低精度迅速侦破案件。基于数据挖掘方法, 许多相关工作使用历史轨迹数据进行位置预测。
Jeung等[11 ] 通过组合预先定义的运动函数预测个人下一步的位置, 这些运动函数使用精细组合的线性和非线性数学模型, 以及基于改良版Apriori算法的个人运动模型捕捉个体的运动轨迹。张彩平等[12 ] 提出基于关系语境的社会网络生成犯罪嫌疑人潜藏位置的候选集, 进而利用协同过滤方法得到评分最高的位置作为预测位置。考虑到历史轨迹的数据特征具有时空特性, 基于马尔可夫模型的位置预测方法可以通过学习特征的时间连续性提高预测精度。比如, 经典的马尔可夫模型[3 ] 和隐马尔可夫模型[4 ] 。此外, Asahara等[5 ] 提出一种混合的马尔可夫模型预测行人流动模式, 结合个人之前的状态并利用个体偏好作为不可见参量。Mathew等[6 ] 基于隐马尔可夫模型提出一种混合位置预测方法: 首先利用时间周期特性聚类历史位置, 然后使用隐马尔可夫模型训练每一类数据, 将可能的目的地作为不可见状态, 过去访问过的目的地作为观测状态。然而这些方法属于n 阶马尔可夫模型, 有M 个状态, 需要一个M n M 的概率转移矩阵, 会导致计算空间的急剧膨胀。同时, 由于概率转移矩阵自身的稀疏性, 很容易出现零频率问题。为了解决上述问题, Yang等[7 ] 提出一种变阶的马尔可夫位置预测模型, 采用字典树解决空间急剧膨胀问题, 利用逃逸机制解决零频率问题。然而马尔可夫模型算法本身具有局限性, 通常只依赖前一个状态信息, 并不能记忆之前更多的历史状态。
为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域。但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息。因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息。其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性。卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性。将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] 。
为解决上述问题, 本文提出一种基于长短记忆型卷积神经网络的犯罪地理位置预测方法: 利用卷积神经网络提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后使用基于长短记忆型神经网络学习位置特征在时间维度上的连续性, 得到下一个位置的准确预测。
3 研究设计
3.1 重要位置序列表示
原始GPS轨迹数据通常由一系列包含经度、维度和时间的轨迹点构成, 这些轨迹点在采集时一般间 隔较短(通常2秒-3秒), 导致得到的轨迹点分布较为集中, 局部变化不显著, 难以直接观测到重要位置 的变化。通过固定的时间和距离阈值, 利用聚类算法DBSCAN可以得到重要的位置序列[7 ] , 再利用Word2Vec中的skip-gram架构① (①https://code.google.com/p/word2vec/.)表示每一个重要位置, 得到重要位置序列, 即输入数据集[x 1 , x 2 ,···, xt ], 其中, t 时刻的输入为xt ∈R d
3.2 卷积神经网络特征提取
CNN无需人工设计特征, 可以直接输入原始数据, 避免前期复杂数据预处理过程, 由此成为模式识别领域的研究热点之一[8 ] 。通过卷积、池化、非线性等操作, CNN可以充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性。卷积操作具有平移不变性, 使得到的特征更加鲁棒, 另外它的权值共享机制可以极大减少参数个数, 相对增加数据量, 可以避免过拟合。池化操作能够进一步减少参数和计算量, 防止过拟合, 同时保留数据的主要特征, 以及保持平移不变性等。非线性操作通过利用不同的激活函数使整个神经网络具有更强的非线性表征能力。
本文使用CNN[8 ] 从底层输入数据[x 1 , x 2 ,···, xt ], 然后通过卷积、池化、非线性等操作提取在空间维度上的具有局部相关性的位置特征[p 1 , p 2 ,···, pt ], 在此过程中, 每层的特征图计算如公式(1)所示。
$\begin{align} & p_{j}^{r+1}(\tau )=\varphi (b_{j}^{r}+\sum\limits_{f=1}^{{{F}^{r}}}{K_{jf}^{r}(\tau )\times p_{f}^{r}(\tau )}) \\ & \ \ \ \ \ \ \ \ \ \ \ =\varphi (b_{j}^{r}+\sum\limits_{f=1}^{{{F}^{r}}}{[\sum\limits_{g=1}^{{{G}^{r}}}{K_{jf}^{r}(g)p_{f}^{r}(\tau -g)}]}) \\ \end{align}$ (1)
其中, $p_{j}^{r}(\tau )$表示在r 层的特征图j , φ 是一个非线性激活函数, F r r 层的特征图的个数, $K_{jf}^{r}$是r 层的特征图f 生成r +1层的特征图j 的卷积核, $b_{j}^{r}$是r 层的偏置向量, Gr 是r 层的卷积核的长度。
3.3 长短记忆型神经网络特征学习
随着时间间隔的不断增加, 经典的RNN容易出现梯度弥散或梯度爆炸等问题, LSTM通过引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘部分历史积累信息[9 ] 。本文将CNN得到的位置特征序列[p 1 , p 2 ,···, pt ]作为LSTM模型的输入, 在t 时刻得到隐藏状态ht , 如公式(2)-公式(6)所示。
${{i}_{t}}={{\sigma }_{i}}({{W}_{pi}}{{p}_{t}}+{{W}_{hi}}{{h}_{t-1}}+{{W}_{ci}}{{c}_{t-1}}+{{b}_{i}})$ (2)
${{f}_{t}}={{\sigma }_{f}}({{W}_{pf}}{{p}_{t}}+{{W}_{hf}}{{h}_{t-1}}+{{W}_{cf}}{{c}_{t-1}}+{{b}_{f}})$ (3)
${{c}_{t}}={{f}_{t}}{{c}_{t-1}}+{{i}_{t}}{{\sigma }_{c}}({{W}_{pc}}{{p}_{t}}+{{W}_{hc}}{{h}_{t-1}}+{{b}_{c}})$ (4)
${{o}_{t}}={{\sigma }_{o}}({{W}_{po}}{{p}_{t}}+{{W}_{ho}}{{h}_{t-1}}+{{W}_{co}}{{c}_{t}}+{{b}_{o}})$ (5)
${{h}_{t}}={{o}_{t}}{{\sigma }_{h}}({{c}_{t}})$ (6)
其中, i 、f 、c 和o 分别是输入门、遗忘门、控制单元和输出门, σ 是非线性激活函数, pt 为t 时刻的输入特征, Wpi 、Whi 、Wci 、Wpf 、Whf 、Wcf 、Wpc 、Whc 、Wpo 、Who 和Wco 为权值矩阵, 比如Wpi 是从输入到输入门的权值矩阵, b 为对应的偏置向量。
3.4 长短记忆型卷积神经网络位置预测算法
本文提出基于长短记忆型卷积神经网络的犯罪地理位置预测方法, 如图1 所示, 利用CNN提取位置数据的特征, 挖掘其在空间维度上的局部相关性, 进一步利用循环神经网络LSTM学习位置特征在时间维度上的连续性, 进而得到训练好的长短记忆型卷积神经网络, 输入测试位置数据, 即可得到下一个位置的 预测。
(1) 提取轨迹数据, 利用DBSCAN算法得到重要的位置序列, 然后使用Word2Vec提取数据表示[x 1 , x 2 ,···, xt ];
(2) 基于CNN网络挖掘位置数据在空间维度上的局部相关性, 得到位置特征[p 1 , p 2 ,···, pt ];
(3) 利用循环神经网络LSTM学习位置特征在时间维度上的连续性, 得到t 时刻隐藏状态ht ;
(4) 利用隐藏状态ht , 使用Softmax函数输出下一个位置在所有重要位置的概率分布, 即得到位置 预测。
4 实验结果及分析
4.1 实验数据
本文在GeoLife[10 ] 这一真实轨迹数据集上进行仿真实验, 该数据集包含182名用户在5年期间的18 670条历史轨迹数据。数据的地理位置范围覆盖全球, 包括美国、欧洲、中国等, 记录了这些用户在户外活动的历史轨迹, 不仅包括上班、回家等日常生活轨迹数据, 还包括这些用户的娱乐活动等轨迹数据。为保证实验的客观性, 不被不同地域用户生活习惯所影响, 实验中只选用北京市范围内的轨迹数据, 共16 776条, 并且采用平滑处理等常规的预处理方法排除轨迹数据中的噪声[7 ] 。
为保证实验方法的客观性和公正性, 采用聚类算法DBSCAN计算重要的位置序列, 并利用Word2Vec中的skip-gram架构表示每一个重要位置, eps的阈值设置为50米, 重要位置个数为1 411个, CNN模型的卷积核数量为128, 长度分别为3、4、5; LSTM模型历史信息长度设置为3, Embedding层的单元个数设置为256[17 ] 。
4.2 实验结果与分析
为验证长短记忆型卷积神经网络位置预测算法 的性能, 随机选出数据集中的10%作为测试数据, 剩下的数据作为训练数据, 重复10次, 取平均值作为测试结果。
与传统方法1阶马尔可夫模型、2阶马尔可夫模型、1阶变阶马尔可夫模型、2阶变阶马尔可夫模型[7 ] 以及LSTM模型[17 ] 进行比较, 结果如表1 所示。
重要位置个数为1 411个, 因此随机预测正确的精确度为1/1411=0.0007, 马尔可夫模型的位置预测方法可以通过学习特征的时间连续性提高预测精度, 因此传统的1阶马尔可夫模型的精确度为0.48, 2阶马尔可夫模型达到0.51, 远远高于随机预测的结果。然而, 传统的马尔可夫模型由于概率转移矩阵自身具有稀疏性, 很容易出现零频率问题。为解决这一问题, 变阶的马尔可夫位置预测模型利用字典树解决空间急剧膨胀问题, 同时采用逃逸机制解决零频率问题。由此, 1阶变阶马尔可夫模型的精确度提高到0.49, 2阶变阶马尔可夫模型进一步提高到0.52。由于马尔可夫模型算法自身的局限性, 通常只依赖前一个状态信息, 并不能记忆之前更多的历史状态, 因此马尔可夫其精确度的提高不是很明显。LSTM模型可以充分挖掘历史信息, 同时结合当前输入数据进行位置预测, 其精确度有本质上的飞跃, 达到0.71。本文提出的基于长短记忆型卷积神经网络的犯罪地理位置预测方法, 利用卷积神经网络提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后使用基于长短记忆型神经网络学习位置特征在时间维度上的连续性, 最终预测精确度达到0.79, 验证了本文方法的有效性。
另外, 本文验证不同Embedding层的单元个数对算法中包含LSTM模型的预测结果的影响, 如表2 所示。可以看到, 随着Embedding层的单元个数增加了一倍, 精确度有一定的增长, 但是并不显著, 因此在公安实战中, Embedding层的单元个数取决于实际工作需求。
5 结 语
由于犯罪活动本身的隐蔽性以及犯罪嫌疑人的反侦查行为, 如何准确地预测犯罪分子的位置一直是公安工作研究的难点所在, 因此本文提出一种基于长短记忆型卷积神经网络的犯罪地理位置预测方法: 利用卷积神经网络提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后基于长短记忆型神经网络学习位置特征在时间维度上的连续性, 进而进行准确的位置预测。在真实轨迹数据集GeoLife上, 本文方法可以有效挖掘空间相关性和时间连续性, 精确度达到0.79, 远远高于随机预测的精确度0.0007。
本文实验是在Geolife真实轨迹数据集上进行的模拟仿真, 其实用性和有效性还需要在公安实战中进行检验。因此, 在未来工作中, 需要和一线公安机关展开合作, 验证本文提出的位置预测方法的有效性。
作者贡献声明
肖延辉, 田华伟: 设计研究方案, 进行实验, 分析数据, 论文起草和修订;
王欣, 冯文刚: 采集数据, 辅助实验;
吴绍忠, 李丽华: 论文修订。
利益冲突声明
所有作者声明不存在利益冲突关系。
支撑数据
支撑数据由作者自存储, E-mail: xiaoyanhui@ppsuc.edu.cn。
[1] 肖延辉. geolife.txt. 训练数据集.
[2] 肖延辉. experiment.doc. 实验参数配置表.
参考文献
文献选项
[1]
Deloitte .Technology, Media and Telecommunications Predictions 2018
[R/OL]. [2018-06-01].
URL
[本文引用: 1]
[2]
Rossmo D K Place,Space,Police Investigations: Hunting Serial Violent Criminals[A]// Weisburd D, Eck J. Crime and Place
[M]. Criminal Justice Press , 1995 : 217 -235 .
[本文引用: 1]
[3]
Ashbrook D Starner T Using GPS to Learn Significant Locations and Predict Movement Across Multiple Users
[J]. Personal and Ubiquitous Computing , 2003 , 7 (5 ): 275 -286 .
https://doi.org/10.1007/s00779-003-0240-0
URL
[本文引用: 2]
摘要
Wearable computers have the potential to act as intelligent agents in everyday life and to assist the user in a variety of tasks, using context to determine how to act. Location is the most common form of context used by these agents to determine the user's task. However, another potential use of location context is the creation of a predictive model of the user's future movements. We present a system that automatically clusters GPS data taken over an extended period of time into meaningful locations at multiple scales. These locations are then incorporated into a Markov model that can be consulted for use with a variety of applications in both single-user and collaborative scenarios.
[4]
Alvarez-Garcia J A Ortega J A Gonzalez-Abril L et al . Trip Destination Prediction Based on Past GPS Log Using a Hidden Markov Model
[J]. Expert Systems with Applications , 2010 , 37 (12 ): 8166 -8171 .
https://doi.org/10.1016/j.eswa.2010.05.070
URL
[本文引用: 2]
摘要
In this paper, a system based on the generation of a Hidden Markov Model from the past GPS log and current location is presented to predict a user’s destination when beginning a new trip. This approach drastically reduces the number of points supplied by the GPS device and it permits a “support-map” to be generated in which the main characteristics of the trips for each user are taken into account. Hence, in contrast with other similar approaches, total independence from a street-map database is achieved.
[5]
Asahara A Maruyama K Sato A et al .Pedestrian-movement Prediction Based on Mixed Markov-chain Model
[C]// Proceedings of the 2011 ACM SIGSPATIAL International Symposium on Advances in Geographic Information Systems, Chicago, USA. New York, USA: ACM , 2011 : 25 -33 .
[本文引用: 2]
[6]
Mathew W Raposo R Martins B Predicting Future Locations with Hidden Markov Models
[C]// Proceedings of the 2012 ACM Conference on Ubiquitous Computing, Pittsburgh, USA. New York, USA: ACM , 2012 : 911 -918 .
[本文引用: 2]
[7]
Yang J Xu J Xu M et al .Predicting Next Location Using a Variable Order Markov Model
[C]// Proceedings of the 5th ACM SIGSPATIAL International Workshop on GeoStreaming, Dallas, USA. New York, USA: ACM , 2014 : 37 -42 .
[本文引用: 5]
[8]
Lecun Y Bottou L Bengio Y et al .Gradient-based Learning Applied to Document Recognition
[J]. Proceedings of the IEEE , 1998 , 86 (11 ): 2278 -2324 .
https://doi.org/10.1109/5.726791
URL
[本文引用: 4]
摘要
Multilayer neural networks trained with the back-propagation algorithm constitute the best example of a successful gradient based learning technique. Given an appropriate network architecture, gradient-based learning algorithms can be used to synthesize a complex decision surface that can classify high-dimensional patterns, such as handwritten characters, with minimal preprocessing. This paper reviews various methods applied to handwritten character recognition and compares them on a standard handwritten digit recognition task. Convolutional neural networks, which are specifically designed to deal with the variability of 2D shapes, are shown to outperform all other techniques. Real-life document recognition systems are composed of multiple modules including field extraction, segmentation recognition, and language modeling. A new learning paradigm, called graph transformer networks (GTN), allows such multimodule systems to be trained globally using gradient-based methods so as to minimize an overall performance measure. Two systems for online handwriting recognition are described. Experiments demonstrate the advantage of global training, and the flexibility of graph transformer networks. A graph transformer network for reading a bank cheque is also described. It uses convolutional neural network character recognizers combined with global training techniques to provide record accuracy on business and personal cheques. It is deployed commercially and reads several million cheques per day.
[9]
Hochreiter S Schmidhuber J Long Short-Term Memory
[J]. Neural Computation , 1997 , 9 (8 ): 1735 -1780 .
https://doi.org/10.1162/neco.1997.9.8.1735
URL
[本文引用: 3]
[10]
Zheng Y Xie X Ma W et al .GeoLife: A Collaborative Social Networking Service Among User, Location and Trajectory
[J]. IEEE Data Engineering Bulletin , 2010 , 33 (2 ): 32 -39 .
[本文引用: 2]
[11]
Jeung H Liu Q Shen H T et al .A Hybrid Prediction Model for Moving Objects
[C]// Proceedings of the 24th IEEE International Conference on Data Engineering. IEEE , 2008 .
[本文引用: 1]
[12]
张彩平 , 周丽华 , 陈红梅 , 等 . 面向关系语境的罪犯藏匿位置预测方法
[J]. 计算机科学与探索 , 2015 , 9 (8 ): 945 -953 .
https://doi.org/10.3778/j.issn.1673-9418.1410041
Magsci
[本文引用: 1]
摘要
目标罪犯藏匿位置的预测是一个重要而艰巨的任务。提出了一种面向关系语境的目标罪犯藏匿位置预测方法。该方法主要通过在面向关系语境的社会网络中计算用户间的信任度得到目标罪犯的强关系子集，并根据所有用户的历史位置轨迹筛选出目标罪犯可能藏匿的候选位置子集，然后进行协同过滤计算，预测目标罪犯当前最可能藏匿的位置。这种方式融合了用户的社会关系及历史位置信息，有助于降低直接预测目标罪犯藏匿位置的盲目性和困难性。最后，利用模拟数据进行仿真实验，并对所提方法的有效性进行了验证。
(Zhang Caiping Zhou Lihua Chen Hongmei et al .Relation Context Oriented Approach to Predict Hiding Location of Criminals
[J]. Journal of Frontiers of Computer Science & Technology , 2015 , 9 (8 ): 945 -953 .)
https://doi.org/10.3778/j.issn.1673-9418.1410041
Magsci
[本文引用: 1]
摘要
目标罪犯藏匿位置的预测是一个重要而艰巨的任务。提出了一种面向关系语境的目标罪犯藏匿位置预测方法。该方法主要通过在面向关系语境的社会网络中计算用户间的信任度得到目标罪犯的强关系子集，并根据所有用户的历史位置轨迹筛选出目标罪犯可能藏匿的候选位置子集，然后进行协同过滤计算，预测目标罪犯当前最可能藏匿的位置。这种方式融合了用户的社会关系及历史位置信息，有助于降低直接预测目标罪犯藏匿位置的盲目性和困难性。最后，利用模拟数据进行仿真实验，并对所提方法的有效性进行了验证。
[13]
Williams R J Zipser D A Learning Algorithm for Continually Running Fully Recurrent Neural Networks
[J]. Neural Computation , 1989 , 1 (2 ): 270 -280 .
https://doi.org/10.1162/neco.1989.1.2.270
URL
[本文引用: 1]
[14]
Cho K Van Merrienboer B Gulcehre C et al .Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation
[OL]. arXiv Preprint, arXiv: 1406 .1078 .
[本文引用: 1]
[15]
Graves A Mohamed A Hinton G E Speech Recognition with Deep Recurrent Neural Networks
[C]// Proceedings of the 2013 IEEE International Conference on Acoustics, Speech, and Signal Processing. 2013 : 6645 -6649 .
[本文引用: 1]
[16]
Ordóñez F J Roggen D Deep Convolutional and LSTM Recurrent Neural Networks for Multimodal Wearable Activity Recognition
[J]. Sensors , 2016 , 16 (1 ): 115 .
https://doi.org/10.3390/s16010115
URL
PMID: 26797612
[本文引用: 2]
摘要
Human activity recognition (HAR) tasks have traditionally been solved using engineered features obtained by heuristic processes. Current research suggests that deep convolutional neural networks are suited to automate feature extraction from raw sensor inputs. However, human activities are made of complex sequences of motor movements, and capturing this temporal dynamics is fundamental for successful HAR. Based on the recent success of recurrent neural networks for time series domains, we propose a generic deep framework for activity recognition based on convolutional and LSTM recurrent units, which: (i) is suitable for multimodal wearable sensors; (ii) can perform sensor fusion naturally; (iii) does not require expert knowledge in designing features; and (iv) explicitly models the temporal dynamics of feature activations. We evaluate our framework on two datasets, one of which has been used in a public activity recognition challenge. Our results show that our framework outperforms competing deep non-recurrent networks on the challenge dataset by 4% on average; outperforming some of the previous reported results by up to 9%. Our results show that the framework can be applied to homogeneous sensor modalities, but can also fuse multimodal sensors to improve performance. We characterise key architectural hyperparameters influence on performance to provide insights about their optimisation.
[17]
李幸超 . 基于循环神经网络的轨迹位置预测技术研究[D]
. 杭州: 浙江大学 , 2016 .
[本文引用: 3]
(Li Xingchao The Research of Location Prediction Based on Recurrent Neural Network[D]
. Hangzhou: Zhejiang University , 2016 .)
[本文引用: 3]
[18]
Sainath T N Vinyals O Senior A et al .Convolutional, Long Short-Term Memory, Fully Connected Deep Neural Networks
[C]// Proceedings of the 2015 IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE , 2015 : 4580 -4584 .
[本文引用: 1]
[19]
许凡 , 程华 , 房一泉 . 基于CLSTM的步态分类方法
[J]. 华东理工大学学报: 自然科学版 , 2017 , 43 (4 ): 553 -558 .
URL
[本文引用: 1]
(Xu Fan Cheng Hua Fang Yiquan A Gait Pattern Classification Method Based on CLSTM
[J]. Journal of East China University of Science and Technology: Natural Science Edition , 2017 , 43 (4 ): 553 -558 .)
URL
[本文引用: 1]
Technology, Media and Telecommunications Predictions 2018
1
... 随着互联网+人工智能技术和应用的不断发展普及, 人们越来越多地利用智能手机全面提升生活品质, 例如通过智能手机满足自身的衣食住行需求, 或利用其快速高效的移动网络传播信息等.根据德勤发布的《2018科技、传媒和电信行业预测》报告[1 ] 预测, 2018年发达国家中智能手机在成年人群的市场占有率为85%, 到2023年末这一比例将超过90%.与此对应, 每天使用智能手机的用户比例, 将从2018年的93%上升至2023年的96%.伴随着智能手机的频繁使用, 用户将产生大量的历史活动轨迹数据, 因此, 借助智能手机可以更加便捷地获取犯罪嫌疑人的历史活动轨迹数据.这些轨迹数据主要由地理位置信息和对应的时间信息构成, 可以进一步挖掘出大量有价值的情报, 比如犯罪嫌疑人活动的热点区域(家、公司、犯罪地点等)、出行路线、犯罪模式等.犯罪空间情报分析专家Rossmo提出犯罪调查的关键在于如何确定犯罪嫌疑人潜藏的地理位置[2 ] .因此, 基于历史活动轨迹的犯罪地理位置预测技术一直以来都是公安工作的研究热点之一, 但是由于犯罪活动本身的隐蔽性以及犯罪嫌疑人的反侦查行为, 如何准确地预测犯罪分子的位置也一直是公安工作的难点所在. ...
Place,Space,Police Investigations: Hunting Serial Violent Criminals[A]// Weisburd D, Eck J. Crime and Place
1
1995
... 随着互联网+人工智能技术和应用的不断发展普及, 人们越来越多地利用智能手机全面提升生活品质, 例如通过智能手机满足自身的衣食住行需求, 或利用其快速高效的移动网络传播信息等.根据德勤发布的《2018科技、传媒和电信行业预测》报告[1 ] 预测, 2018年发达国家中智能手机在成年人群的市场占有率为85%, 到2023年末这一比例将超过90%.与此对应, 每天使用智能手机的用户比例, 将从2018年的93%上升至2023年的96%.伴随着智能手机的频繁使用, 用户将产生大量的历史活动轨迹数据, 因此, 借助智能手机可以更加便捷地获取犯罪嫌疑人的历史活动轨迹数据.这些轨迹数据主要由地理位置信息和对应的时间信息构成, 可以进一步挖掘出大量有价值的情报, 比如犯罪嫌疑人活动的热点区域(家、公司、犯罪地点等)、出行路线、犯罪模式等.犯罪空间情报分析专家Rossmo提出犯罪调查的关键在于如何确定犯罪嫌疑人潜藏的地理位置[2 ] .因此, 基于历史活动轨迹的犯罪地理位置预测技术一直以来都是公安工作的研究热点之一, 但是由于犯罪活动本身的隐蔽性以及犯罪嫌疑人的反侦查行为, 如何准确地预测犯罪分子的位置也一直是公安工作的难点所在. ...
Using GPS to Learn Significant Locations and Predict Movement Across Multiple Users
2
2003
... 由于历史轨迹的数据特征具有时空特性, 传统的位置预测通常采用马尔可夫模型[3 ,4 ,5 ,6 ,7 ] 学习特征的时间连续性, 但是大部分马尔可夫模型的方法往往依赖矩阵计算, 会导致存储空间的急剧膨胀和零频率问题.尤为重要的是, 由于算法的局限性, 马尔可夫模型通常只能依赖前一个状态信息, 并不能记忆之前更多的历史状态.针对上述缺点, 同时考虑到轨迹数据在空间上的相关性和时间上的连续性, 本文提出基于长短记忆型卷积神经网络的犯罪地理位置预测方法: 利用卷积神经网络(Convolutional Neural Network, CNN)[8 ] 提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后基于长短记忆型神经网络(Long Short Term Memory, LSTM)[9 ] 学习位置特征在时间维度上的连续性, 得到下一个位置的准确预测.在真实轨迹数据集GeoLife[10 ] 上, 本文提出的方法可以很好地挖掘空间相关性和时间连续性, 提高犯罪地理位置预测的精确度. ...
... Jeung等[11 ] 通过组合预先定义的运动函数预测个人下一步的位置, 这些运动函数使用精细组合的线性和非线性数学模型, 以及基于改良版Apriori算法的个人运动模型捕捉个体的运动轨迹.张彩平等[12 ] 提出基于关系语境的社会网络生成犯罪嫌疑人潜藏位置的候选集, 进而利用协同过滤方法得到评分最高的位置作为预测位置.考虑到历史轨迹的数据特征具有时空特性, 基于马尔可夫模型的位置预测方法可以通过学习特征的时间连续性提高预测精度.比如, 经典的马尔可夫模型[3 ] 和隐马尔可夫模型[4 ] .此外, Asahara等[5 ] 提出一种混合的马尔可夫模型预测行人流动模式, 结合个人之前的状态并利用个体偏好作为不可见参量.Mathew等[6 ] 基于隐马尔可夫模型提出一种混合位置预测方法: 首先利用时间周期特性聚类历史位置, 然后使用隐马尔可夫模型训练每一类数据, 将可能的目的地作为不可见状态, 过去访问过的目的地作为观测状态.然而这些方法属于n 阶马尔可夫模型, 有M 个状态, 需要一个M n M 的概率转移矩阵, 会导致计算空间的急剧膨胀.同时, 由于概率转移矩阵自身的稀疏性, 很容易出现零频率问题.为了解决上述问题, Yang等[7 ] 提出一种变阶的马尔可夫位置预测模型, 采用字典树解决空间急剧膨胀问题, 利用逃逸机制解决零频率问题.然而马尔可夫模型算法本身具有局限性, 通常只依赖前一个状态信息, 并不能记忆之前更多的历史状态. ...
Trip Destination Prediction Based on Past GPS Log Using a Hidden Markov Model
2
2010
... 由于历史轨迹的数据特征具有时空特性, 传统的位置预测通常采用马尔可夫模型[3 ,4 ,5 ,6 ,7 ] 学习特征的时间连续性, 但是大部分马尔可夫模型的方法往往依赖矩阵计算, 会导致存储空间的急剧膨胀和零频率问题.尤为重要的是, 由于算法的局限性, 马尔可夫模型通常只能依赖前一个状态信息, 并不能记忆之前更多的历史状态.针对上述缺点, 同时考虑到轨迹数据在空间上的相关性和时间上的连续性, 本文提出基于长短记忆型卷积神经网络的犯罪地理位置预测方法: 利用卷积神经网络(Convolutional Neural Network, CNN)[8 ] 提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后基于长短记忆型神经网络(Long Short Term Memory, LSTM)[9 ] 学习位置特征在时间维度上的连续性, 得到下一个位置的准确预测.在真实轨迹数据集GeoLife[10 ] 上, 本文提出的方法可以很好地挖掘空间相关性和时间连续性, 提高犯罪地理位置预测的精确度. ...
... Jeung等[11 ] 通过组合预先定义的运动函数预测个人下一步的位置, 这些运动函数使用精细组合的线性和非线性数学模型, 以及基于改良版Apriori算法的个人运动模型捕捉个体的运动轨迹.张彩平等[12 ] 提出基于关系语境的社会网络生成犯罪嫌疑人潜藏位置的候选集, 进而利用协同过滤方法得到评分最高的位置作为预测位置.考虑到历史轨迹的数据特征具有时空特性, 基于马尔可夫模型的位置预测方法可以通过学习特征的时间连续性提高预测精度.比如, 经典的马尔可夫模型[3 ] 和隐马尔可夫模型[4 ] .此外, Asahara等[5 ] 提出一种混合的马尔可夫模型预测行人流动模式, 结合个人之前的状态并利用个体偏好作为不可见参量.Mathew等[6 ] 基于隐马尔可夫模型提出一种混合位置预测方法: 首先利用时间周期特性聚类历史位置, 然后使用隐马尔可夫模型训练每一类数据, 将可能的目的地作为不可见状态, 过去访问过的目的地作为观测状态.然而这些方法属于n 阶马尔可夫模型, 有M 个状态, 需要一个M n M 的概率转移矩阵, 会导致计算空间的急剧膨胀.同时, 由于概率转移矩阵自身的稀疏性, 很容易出现零频率问题.为了解决上述问题, Yang等[7 ] 提出一种变阶的马尔可夫位置预测模型, 采用字典树解决空间急剧膨胀问题, 利用逃逸机制解决零频率问题.然而马尔可夫模型算法本身具有局限性, 通常只依赖前一个状态信息, 并不能记忆之前更多的历史状态. ...
Pedestrian-movement Prediction Based on Mixed Markov-chain Model
2
2011
... 由于历史轨迹的数据特征具有时空特性, 传统的位置预测通常采用马尔可夫模型[3 ,4 ,5 ,6 ,7 ] 学习特征的时间连续性, 但是大部分马尔可夫模型的方法往往依赖矩阵计算, 会导致存储空间的急剧膨胀和零频率问题.尤为重要的是, 由于算法的局限性, 马尔可夫模型通常只能依赖前一个状态信息, 并不能记忆之前更多的历史状态.针对上述缺点, 同时考虑到轨迹数据在空间上的相关性和时间上的连续性, 本文提出基于长短记忆型卷积神经网络的犯罪地理位置预测方法: 利用卷积神经网络(Convolutional Neural Network, CNN)[8 ] 提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后基于长短记忆型神经网络(Long Short Term Memory, LSTM)[9 ] 学习位置特征在时间维度上的连续性, 得到下一个位置的准确预测.在真实轨迹数据集GeoLife[10 ] 上, 本文提出的方法可以很好地挖掘空间相关性和时间连续性, 提高犯罪地理位置预测的精确度. ...
... Jeung等[11 ] 通过组合预先定义的运动函数预测个人下一步的位置, 这些运动函数使用精细组合的线性和非线性数学模型, 以及基于改良版Apriori算法的个人运动模型捕捉个体的运动轨迹.张彩平等[12 ] 提出基于关系语境的社会网络生成犯罪嫌疑人潜藏位置的候选集, 进而利用协同过滤方法得到评分最高的位置作为预测位置.考虑到历史轨迹的数据特征具有时空特性, 基于马尔可夫模型的位置预测方法可以通过学习特征的时间连续性提高预测精度.比如, 经典的马尔可夫模型[3 ] 和隐马尔可夫模型[4 ] .此外, Asahara等[5 ] 提出一种混合的马尔可夫模型预测行人流动模式, 结合个人之前的状态并利用个体偏好作为不可见参量.Mathew等[6 ] 基于隐马尔可夫模型提出一种混合位置预测方法: 首先利用时间周期特性聚类历史位置, 然后使用隐马尔可夫模型训练每一类数据, 将可能的目的地作为不可见状态, 过去访问过的目的地作为观测状态.然而这些方法属于n 阶马尔可夫模型, 有M 个状态, 需要一个M n M 的概率转移矩阵, 会导致计算空间的急剧膨胀.同时, 由于概率转移矩阵自身的稀疏性, 很容易出现零频率问题.为了解决上述问题, Yang等[7 ] 提出一种变阶的马尔可夫位置预测模型, 采用字典树解决空间急剧膨胀问题, 利用逃逸机制解决零频率问题.然而马尔可夫模型算法本身具有局限性, 通常只依赖前一个状态信息, 并不能记忆之前更多的历史状态. ...
Predicting Future Locations with Hidden Markov Models
2
2012
... 由于历史轨迹的数据特征具有时空特性, 传统的位置预测通常采用马尔可夫模型[3 ,4 ,5 ,6 ,7 ] 学习特征的时间连续性, 但是大部分马尔可夫模型的方法往往依赖矩阵计算, 会导致存储空间的急剧膨胀和零频率问题.尤为重要的是, 由于算法的局限性, 马尔可夫模型通常只能依赖前一个状态信息, 并不能记忆之前更多的历史状态.针对上述缺点, 同时考虑到轨迹数据在空间上的相关性和时间上的连续性, 本文提出基于长短记忆型卷积神经网络的犯罪地理位置预测方法: 利用卷积神经网络(Convolutional Neural Network, CNN)[8 ] 提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后基于长短记忆型神经网络(Long Short Term Memory, LSTM)[9 ] 学习位置特征在时间维度上的连续性, 得到下一个位置的准确预测.在真实轨迹数据集GeoLife[10 ] 上, 本文提出的方法可以很好地挖掘空间相关性和时间连续性, 提高犯罪地理位置预测的精确度. ...
... Jeung等[11 ] 通过组合预先定义的运动函数预测个人下一步的位置, 这些运动函数使用精细组合的线性和非线性数学模型, 以及基于改良版Apriori算法的个人运动模型捕捉个体的运动轨迹.张彩平等[12 ] 提出基于关系语境的社会网络生成犯罪嫌疑人潜藏位置的候选集, 进而利用协同过滤方法得到评分最高的位置作为预测位置.考虑到历史轨迹的数据特征具有时空特性, 基于马尔可夫模型的位置预测方法可以通过学习特征的时间连续性提高预测精度.比如, 经典的马尔可夫模型[3 ] 和隐马尔可夫模型[4 ] .此外, Asahara等[5 ] 提出一种混合的马尔可夫模型预测行人流动模式, 结合个人之前的状态并利用个体偏好作为不可见参量.Mathew等[6 ] 基于隐马尔可夫模型提出一种混合位置预测方法: 首先利用时间周期特性聚类历史位置, 然后使用隐马尔可夫模型训练每一类数据, 将可能的目的地作为不可见状态, 过去访问过的目的地作为观测状态.然而这些方法属于n 阶马尔可夫模型, 有M 个状态, 需要一个M n M 的概率转移矩阵, 会导致计算空间的急剧膨胀.同时, 由于概率转移矩阵自身的稀疏性, 很容易出现零频率问题.为了解决上述问题, Yang等[7 ] 提出一种变阶的马尔可夫位置预测模型, 采用字典树解决空间急剧膨胀问题, 利用逃逸机制解决零频率问题.然而马尔可夫模型算法本身具有局限性, 通常只依赖前一个状态信息, 并不能记忆之前更多的历史状态. ...
Predicting Next Location Using a Variable Order Markov Model
5
2014
... 由于历史轨迹的数据特征具有时空特性, 传统的位置预测通常采用马尔可夫模型[3 ,4 ,5 ,6 ,7 ] 学习特征的时间连续性, 但是大部分马尔可夫模型的方法往往依赖矩阵计算, 会导致存储空间的急剧膨胀和零频率问题.尤为重要的是, 由于算法的局限性, 马尔可夫模型通常只能依赖前一个状态信息, 并不能记忆之前更多的历史状态.针对上述缺点, 同时考虑到轨迹数据在空间上的相关性和时间上的连续性, 本文提出基于长短记忆型卷积神经网络的犯罪地理位置预测方法: 利用卷积神经网络(Convolutional Neural Network, CNN)[8 ] 提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后基于长短记忆型神经网络(Long Short Term Memory, LSTM)[9 ] 学习位置特征在时间维度上的连续性, 得到下一个位置的准确预测.在真实轨迹数据集GeoLife[10 ] 上, 本文提出的方法可以很好地挖掘空间相关性和时间连续性, 提高犯罪地理位置预测的精确度. ...
... Jeung等[11 ] 通过组合预先定义的运动函数预测个人下一步的位置, 这些运动函数使用精细组合的线性和非线性数学模型, 以及基于改良版Apriori算法的个人运动模型捕捉个体的运动轨迹.张彩平等[12 ] 提出基于关系语境的社会网络生成犯罪嫌疑人潜藏位置的候选集, 进而利用协同过滤方法得到评分最高的位置作为预测位置.考虑到历史轨迹的数据特征具有时空特性, 基于马尔可夫模型的位置预测方法可以通过学习特征的时间连续性提高预测精度.比如, 经典的马尔可夫模型[3 ] 和隐马尔可夫模型[4 ] .此外, Asahara等[5 ] 提出一种混合的马尔可夫模型预测行人流动模式, 结合个人之前的状态并利用个体偏好作为不可见参量.Mathew等[6 ] 基于隐马尔可夫模型提出一种混合位置预测方法: 首先利用时间周期特性聚类历史位置, 然后使用隐马尔可夫模型训练每一类数据, 将可能的目的地作为不可见状态, 过去访问过的目的地作为观测状态.然而这些方法属于n 阶马尔可夫模型, 有M 个状态, 需要一个M n M 的概率转移矩阵, 会导致计算空间的急剧膨胀.同时, 由于概率转移矩阵自身的稀疏性, 很容易出现零频率问题.为了解决上述问题, Yang等[7 ] 提出一种变阶的马尔可夫位置预测模型, 采用字典树解决空间急剧膨胀问题, 利用逃逸机制解决零频率问题.然而马尔可夫模型算法本身具有局限性, 通常只依赖前一个状态信息, 并不能记忆之前更多的历史状态. ...
... 原始GPS轨迹数据通常由一系列包含经度、维度和时间的轨迹点构成, 这些轨迹点在采集时一般间 隔较短(通常2秒-3秒), 导致得到的轨迹点分布较为集中, 局部变化不显著, 难以直接观测到重要位置 的变化.通过固定的时间和距离阈值, 利用聚类算法DBSCAN可以得到重要的位置序列[7 ] , 再利用Word2Vec中的skip-gram架构① (①https://code.google.com/p/word2vec/.)表示每一个重要位置, 得到重要位置序列, 即输入数据集[x 1 , x 2 ,···, xt ], 其中, t 时刻的输入为xt ∈R d
... 本文在GeoLife[10 ] 这一真实轨迹数据集上进行仿真实验, 该数据集包含182名用户在5年期间的18 670条历史轨迹数据.数据的地理位置范围覆盖全球, 包括美国、欧洲、中国等, 记录了这些用户在户外活动的历史轨迹, 不仅包括上班、回家等日常生活轨迹数据, 还包括这些用户的娱乐活动等轨迹数据.为保证实验的客观性, 不被不同地域用户生活习惯所影响, 实验中只选用北京市范围内的轨迹数据, 共16 776条, 并且采用平滑处理等常规的预处理方法排除轨迹数据中的噪声[7 ] . ...
... 与传统方法1阶马尔可夫模型、2阶马尔可夫模型、1阶变阶马尔可夫模型、2阶变阶马尔可夫模型[7 ] 以及LSTM模型[17 ] 进行比较, 结果如表1 所示. ...
Gradient-based Learning Applied to Document Recognition
4
1998
... 由于历史轨迹的数据特征具有时空特性, 传统的位置预测通常采用马尔可夫模型[3 ,4 ,5 ,6 ,7 ] 学习特征的时间连续性, 但是大部分马尔可夫模型的方法往往依赖矩阵计算, 会导致存储空间的急剧膨胀和零频率问题.尤为重要的是, 由于算法的局限性, 马尔可夫模型通常只能依赖前一个状态信息, 并不能记忆之前更多的历史状态.针对上述缺点, 同时考虑到轨迹数据在空间上的相关性和时间上的连续性, 本文提出基于长短记忆型卷积神经网络的犯罪地理位置预测方法: 利用卷积神经网络(Convolutional Neural Network, CNN)[8 ] 提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后基于长短记忆型神经网络(Long Short Term Memory, LSTM)[9 ] 学习位置特征在时间维度上的连续性, 得到下一个位置的准确预测.在真实轨迹数据集GeoLife[10 ] 上, 本文提出的方法可以很好地挖掘空间相关性和时间连续性, 提高犯罪地理位置预测的精确度. ...
... 为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域.但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息.因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息.其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性.卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] . ...
... CNN无需人工设计特征, 可以直接输入原始数据, 避免前期复杂数据预处理过程, 由此成为模式识别领域的研究热点之一[8 ] .通过卷积、池化、非线性等操作, CNN可以充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.卷积操作具有平移不变性, 使得到的特征更加鲁棒, 另外它的权值共享机制可以极大减少参数个数, 相对增加数据量, 可以避免过拟合.池化操作能够进一步减少参数和计算量, 防止过拟合, 同时保留数据的主要特征, 以及保持平移不变性等.非线性操作通过利用不同的激活函数使整个神经网络具有更强的非线性表征能力. ...
... 本文使用CNN[8 ] 从底层输入数据[x 1 , x 2 ,···, xt ], 然后通过卷积、池化、非线性等操作提取在空间维度上的具有局部相关性的位置特征[p 1 , p 2 ,···, pt ], 在此过程中, 每层的特征图计算如公式(1)所示. ...
Long Short-Term Memory
3
1997
... 由于历史轨迹的数据特征具有时空特性, 传统的位置预测通常采用马尔可夫模型[3 ,4 ,5 ,6 ,7 ] 学习特征的时间连续性, 但是大部分马尔可夫模型的方法往往依赖矩阵计算, 会导致存储空间的急剧膨胀和零频率问题.尤为重要的是, 由于算法的局限性, 马尔可夫模型通常只能依赖前一个状态信息, 并不能记忆之前更多的历史状态.针对上述缺点, 同时考虑到轨迹数据在空间上的相关性和时间上的连续性, 本文提出基于长短记忆型卷积神经网络的犯罪地理位置预测方法: 利用卷积神经网络(Convolutional Neural Network, CNN)[8 ] 提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后基于长短记忆型神经网络(Long Short Term Memory, LSTM)[9 ] 学习位置特征在时间维度上的连续性, 得到下一个位置的准确预测.在真实轨迹数据集GeoLife[10 ] 上, 本文提出的方法可以很好地挖掘空间相关性和时间连续性, 提高犯罪地理位置预测的精确度. ...
... 为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域.但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息.因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息.其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性.卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] . ...
... 随着时间间隔的不断增加, 经典的RNN容易出现梯度弥散或梯度爆炸等问题, LSTM通过引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘部分历史积累信息[9 ] .本文将CNN得到的位置特征序列[p 1 , p 2 ,···, pt ]作为LSTM模型的输入, 在t 时刻得到隐藏状态ht , 如公式(2)-公式(6)所示. ...
GeoLife: A Collaborative Social Networking Service Among User, Location and Trajectory
2
2010
... 由于历史轨迹的数据特征具有时空特性, 传统的位置预测通常采用马尔可夫模型[3 ,4 ,5 ,6 ,7 ] 学习特征的时间连续性, 但是大部分马尔可夫模型的方法往往依赖矩阵计算, 会导致存储空间的急剧膨胀和零频率问题.尤为重要的是, 由于算法的局限性, 马尔可夫模型通常只能依赖前一个状态信息, 并不能记忆之前更多的历史状态.针对上述缺点, 同时考虑到轨迹数据在空间上的相关性和时间上的连续性, 本文提出基于长短记忆型卷积神经网络的犯罪地理位置预测方法: 利用卷积神经网络(Convolutional Neural Network, CNN)[8 ] 提取重要犯罪位置特征, 挖掘位置数据在空间维度上的局部相关性, 然后基于长短记忆型神经网络(Long Short Term Memory, LSTM)[9 ] 学习位置特征在时间维度上的连续性, 得到下一个位置的准确预测.在真实轨迹数据集GeoLife[10 ] 上, 本文提出的方法可以很好地挖掘空间相关性和时间连续性, 提高犯罪地理位置预测的精确度. ...
... 本文在GeoLife[10 ] 这一真实轨迹数据集上进行仿真实验, 该数据集包含182名用户在5年期间的18 670条历史轨迹数据.数据的地理位置范围覆盖全球, 包括美国、欧洲、中国等, 记录了这些用户在户外活动的历史轨迹, 不仅包括上班、回家等日常生活轨迹数据, 还包括这些用户的娱乐活动等轨迹数据.为保证实验的客观性, 不被不同地域用户生活习惯所影响, 实验中只选用北京市范围内的轨迹数据, 共16 776条, 并且采用平滑处理等常规的预处理方法排除轨迹数据中的噪声[7 ] . ...
A Hybrid Prediction Model for Moving Objects
1
2008
... Jeung等[11 ] 通过组合预先定义的运动函数预测个人下一步的位置, 这些运动函数使用精细组合的线性和非线性数学模型, 以及基于改良版Apriori算法的个人运动模型捕捉个体的运动轨迹.张彩平等[12 ] 提出基于关系语境的社会网络生成犯罪嫌疑人潜藏位置的候选集, 进而利用协同过滤方法得到评分最高的位置作为预测位置.考虑到历史轨迹的数据特征具有时空特性, 基于马尔可夫模型的位置预测方法可以通过学习特征的时间连续性提高预测精度.比如, 经典的马尔可夫模型[3 ] 和隐马尔可夫模型[4 ] .此外, Asahara等[5 ] 提出一种混合的马尔可夫模型预测行人流动模式, 结合个人之前的状态并利用个体偏好作为不可见参量.Mathew等[6 ] 基于隐马尔可夫模型提出一种混合位置预测方法: 首先利用时间周期特性聚类历史位置, 然后使用隐马尔可夫模型训练每一类数据, 将可能的目的地作为不可见状态, 过去访问过的目的地作为观测状态.然而这些方法属于n 阶马尔可夫模型, 有M 个状态, 需要一个M n M 的概率转移矩阵, 会导致计算空间的急剧膨胀.同时, 由于概率转移矩阵自身的稀疏性, 很容易出现零频率问题.为了解决上述问题, Yang等[7 ] 提出一种变阶的马尔可夫位置预测模型, 采用字典树解决空间急剧膨胀问题, 利用逃逸机制解决零频率问题.然而马尔可夫模型算法本身具有局限性, 通常只依赖前一个状态信息, 并不能记忆之前更多的历史状态. ...
面向关系语境的罪犯藏匿位置预测方法
1
2015
... Jeung等[11 ] 通过组合预先定义的运动函数预测个人下一步的位置, 这些运动函数使用精细组合的线性和非线性数学模型, 以及基于改良版Apriori算法的个人运动模型捕捉个体的运动轨迹.张彩平等[12 ] 提出基于关系语境的社会网络生成犯罪嫌疑人潜藏位置的候选集, 进而利用协同过滤方法得到评分最高的位置作为预测位置.考虑到历史轨迹的数据特征具有时空特性, 基于马尔可夫模型的位置预测方法可以通过学习特征的时间连续性提高预测精度.比如, 经典的马尔可夫模型[3 ] 和隐马尔可夫模型[4 ] .此外, Asahara等[5 ] 提出一种混合的马尔可夫模型预测行人流动模式, 结合个人之前的状态并利用个体偏好作为不可见参量.Mathew等[6 ] 基于隐马尔可夫模型提出一种混合位置预测方法: 首先利用时间周期特性聚类历史位置, 然后使用隐马尔可夫模型训练每一类数据, 将可能的目的地作为不可见状态, 过去访问过的目的地作为观测状态.然而这些方法属于n 阶马尔可夫模型, 有M 个状态, 需要一个M n M 的概率转移矩阵, 会导致计算空间的急剧膨胀.同时, 由于概率转移矩阵自身的稀疏性, 很容易出现零频率问题.为了解决上述问题, Yang等[7 ] 提出一种变阶的马尔可夫位置预测模型, 采用字典树解决空间急剧膨胀问题, 利用逃逸机制解决零频率问题.然而马尔可夫模型算法本身具有局限性, 通常只依赖前一个状态信息, 并不能记忆之前更多的历史状态. ...
面向关系语境的罪犯藏匿位置预测方法
1
2015
... Jeung等[11 ] 通过组合预先定义的运动函数预测个人下一步的位置, 这些运动函数使用精细组合的线性和非线性数学模型, 以及基于改良版Apriori算法的个人运动模型捕捉个体的运动轨迹.张彩平等[12 ] 提出基于关系语境的社会网络生成犯罪嫌疑人潜藏位置的候选集, 进而利用协同过滤方法得到评分最高的位置作为预测位置.考虑到历史轨迹的数据特征具有时空特性, 基于马尔可夫模型的位置预测方法可以通过学习特征的时间连续性提高预测精度.比如, 经典的马尔可夫模型[3 ] 和隐马尔可夫模型[4 ] .此外, Asahara等[5 ] 提出一种混合的马尔可夫模型预测行人流动模式, 结合个人之前的状态并利用个体偏好作为不可见参量.Mathew等[6 ] 基于隐马尔可夫模型提出一种混合位置预测方法: 首先利用时间周期特性聚类历史位置, 然后使用隐马尔可夫模型训练每一类数据, 将可能的目的地作为不可见状态, 过去访问过的目的地作为观测状态.然而这些方法属于n 阶马尔可夫模型, 有M 个状态, 需要一个M n M 的概率转移矩阵, 会导致计算空间的急剧膨胀.同时, 由于概率转移矩阵自身的稀疏性, 很容易出现零频率问题.为了解决上述问题, Yang等[7 ] 提出一种变阶的马尔可夫位置预测模型, 采用字典树解决空间急剧膨胀问题, 利用逃逸机制解决零频率问题.然而马尔可夫模型算法本身具有局限性, 通常只依赖前一个状态信息, 并不能记忆之前更多的历史状态. ...
A Learning Algorithm for Continually Running Fully Recurrent Neural Networks
1
1989
... 为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域.但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息.因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息.其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性.卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] . ...
Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation
1
... 为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域.但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息.因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息.其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性.卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] . ...
Speech Recognition with Deep Recurrent Neural Networks
1
2013
... 为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域.但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息.因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息.其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性.卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] . ...
Deep Convolutional and LSTM Recurrent Neural Networks for Multimodal Wearable Activity Recognition
2
2016
... 为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域.但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息.因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息.其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性.卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] . ...
... [16 ,18 -19 ]. ...
基于循环神经网络的轨迹位置预测技术研究[D]
3
2016
... 为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域.但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息.因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息.其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性.卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] . ...
... 为保证实验方法的客观性和公正性, 采用聚类算法DBSCAN计算重要的位置序列, 并利用Word2Vec中的skip-gram架构表示每一个重要位置, eps的阈值设置为50米, 重要位置个数为1 411个, CNN模型的卷积核数量为128, 长度分别为3、4、5; LSTM模型历史信息长度设置为3, Embedding层的单元个数设置为256[17 ] . ...
... 与传统方法1阶马尔可夫模型、2阶马尔可夫模型、1阶变阶马尔可夫模型、2阶变阶马尔可夫模型[7 ] 以及LSTM模型[17 ] 进行比较, 结果如表1 所示. ...
基于循环神经网络的轨迹位置预测技术研究[D]
3
2016
... 为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域.但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息.因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息.其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性.卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] . ...
... 为保证实验方法的客观性和公正性, 采用聚类算法DBSCAN计算重要的位置序列, 并利用Word2Vec中的skip-gram架构表示每一个重要位置, eps的阈值设置为50米, 重要位置个数为1 411个, CNN模型的卷积核数量为128, 长度分别为3、4、5; LSTM模型历史信息长度设置为3, Embedding层的单元个数设置为256[17 ] . ...
... 与传统方法1阶马尔可夫模型、2阶马尔可夫模型、1阶变阶马尔可夫模型、2阶变阶马尔可夫模型[7 ] 以及LSTM模型[17 ] 进行比较, 结果如表1 所示. ...
Convolutional, Long Short-Term Memory, Fully Connected Deep Neural Networks
1
2015
... 为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域.但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息.因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息.其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性.卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] . ...
基于CLSTM的步态分类方法
1
2017
... 为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域.但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息.因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息.其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性.卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] . ...
基于CLSTM的步态分类方法
1
2017
... 为解决这一问题, 深度学习方法循环神经网络(Recurrent Neural Network, RNN)[13 ] 利用神经网络对序列数据建模, 充分利用历史信息并结合当前输入数 据进行预测, 已经被成功应用于机器翻译[14 ] 、语音识别[15 ] 、行为识别[16 ] 等领域.但是在实际工作中, 随着时间间隔的不断增加, 经典的RNN由于梯度弥散或梯度爆炸等问题很难利用间隔很远的历史信息.因此, 长短记忆型循环神经网络(LSTM)[9 ] 引入门限机制有效节制信息的积累速率, 并可以选择性地遗忘和保留历史信息.其中, 李幸超[17 ] 提出一种基于LSTM的位置预测方法建立时间依赖模型, 通过充分挖掘历史信息的连续性进行预测, 然而其忽视了位置数据的空间相关性.卷积神经网络(CNN)[8 ] 是一种典型的深度神经网络, 通过卷积、池化、非线性等操作充分提取数据的本质特征, 进而挖掘数据在空间维度上的局部相关性.将CNN结合LSTM到一个统一的框架下进行学习, 已经在语音识别和步态分类等领域取得了优异的识别效果[16 ,18 -19 ] . ...
, 吴绍忠, 李丽华
