[Objective] The paper tries to predict the remaining execution time of ongoing business process, aiming to provide better decision making support for process optimization.[Methods] We proposed a transfer learning framework for remaining time prediction, which constructed the prediction model with multi-layers recurrent neural networks. Then, we used representation learning method for events to pre-train the prediction model.[Results] We examined our model with five publicly available datasets and found the proposed approach outperforms the existing ones by 11% on average.[Limitations] The proposed model is of low interpretability, which limits its applications for real business management cases.[Conclusions] The proposed approach could help us predict remaining task processing time.
Keywords:Remaining Time Prediction
;
Business Process Instance
;
Deep Learning
;
Transfer Learning
Liu Tong. Predicting Remaining Business Time with Deep Transfer Learning. Data Analysis and Knowledge Discovery[J], 2020, 4(2/3): 134-142 doi:10.11925/infotech.2096-3467.2019.0721
1 引 言
业务流程管理(Business Process Management, BPM)是一种重要的商业智能技术,其旨在提供规范化的技术和工具对生产流程、行政申请流程、人事处理流程等各类业务流程进行分析、建模、监控和持续优化[1]。业务流程实例剩余执行时间预测[2,3](简称剩余时间预测)是业务流程管理领域中的一类重要任务,顾名思义,其预测目标是正在执行中的业务流程实例的剩余执行时间。对于一个正在执行中的业务流程实例,如果能够准确预估其剩余执行时间,那么业务流程管理者可以采取更为有效的资源调度等执行策略,以提升业务系统的整体性能。
剩余时间预测问题由van der Aalst等首次系统提出[2],其在业务流程管理框架下对剩余时间预测任务进行形式化定义,给出一系列评估指标,并提出一种基于多抽象层次变迁系统的剩余时间预测方法。后续一些研究者对该方法进行了改进,比如:Polato等提出数据感知的变迁系统,为每个状态节点构建朴素贝叶斯分类模型,并为每个变迁(状态节点连边)利用支持向量回归算法构建剩余时间预测模型9]。除了使用变迁系统外,一些研究者常使用其他业务流程模型进行剩余时间预测,比如非马尔科夫随机Petri网[4]、流程树[5]等。利用业务流程模型进行剩余时间预测的优势是能够利用形式化的流程模型构建业务流程的抽象视图,特别是能够对特殊的业务场景进行有效建模,比如:Jimenez-Ramirez等利用声明式流程模型解决多实例、资源约束等复杂场景下的剩余时间预测问题[10];Senderovich等利用队列流程模型解决多个服务流程处于存在排队状态时的剩余时间预测问题[11]。然而,基于业务流程模型的方法也存在很多局限,由于业务流程模型的形式化较强,难以有效处理真实世界中的大规模高噪音事件日志;此外,业务流程模型往往需要事先指定,这限制了该类方法的实用场景。
近年来,基于机器学习特别是深度学习的剩余时间预测方法成为该领域的研究热点。这类方法优势是对噪音的鲁棒性较强,而且能够高效处理大规模事件日志,代表性工作有:Bevacqua等使用聚类技术从事件日志中发现业务流程的变种,之后使用回归技术在不同变种的流程执行实例上构建剩余时间预测模型[12]。传统机器学习方法的有效性往往依赖于实例特征的设计,一些研究者针对剩余时间预测任务中的特征工程问题开展研究,比如:Senderovich等在设计流程实例特征时同时考虑了实例自身的属性、实例内部事件的属性,以及实例外部的上下文信息[13];Leontjeva等通过设计序列编码方案构建流程实例特征[14]。为克服特征工程的困难,最近有研究者开始尝试使用深度学习构建剩余时间预测模型,实现流程实例特征的自动学习,代表性的工作有:Verenich等使用长短期记忆循环神经网络(Long-Short Term Memory,LSTM)训练剩余时间和后续活动的联合预测模型,取得了比基于业务流程模型和传统机器学习方法更优的预测效果[8]。从现有的预测效果而言,深度学习在剩余时间预测任务上有着广阔的应用前景。
... 剩余时间预测问题由van der Aalst等首次系统提出[2],其在业务流程管理框架下对剩余时间预测任务进行形式化定义,给出一系列评估指标,并提出一种基于多抽象层次变迁系统的剩余时间预测方法.后续一些研究者对该方法进行了改进,比如:Polato等提出数据感知的变迁系统,为每个状态节点构建朴素贝叶斯分类模型,并为每个变迁(状态节点连边)利用支持向量回归算法构建剩余时间预测模型9].除了使用变迁系统外,一些研究者常使用其他业务流程模型进行剩余时间预测,比如非马尔科夫随机Petri网[4]、流程树[5]等.利用业务流程模型进行剩余时间预测的优势是能够利用形式化的流程模型构建业务流程的抽象视图,特别是能够对特殊的业务场景进行有效建模,比如:Jimenez-Ramirez等利用声明式流程模型解决多实例、资源约束等复杂场景下的剩余时间预测问题[10];Senderovich等利用队列流程模型解决多个服务流程处于存在排队状态时的剩余时间预测问题[11].然而,基于业务流程模型的方法也存在很多局限,由于业务流程模型的形式化较强,难以有效处理真实世界中的大规模高噪音事件日志;此外,业务流程模型往往需要事先指定,这限制了该类方法的实用场景. ...
... 剩余时间预测问题由van der Aalst等首次系统提出[2],其在业务流程管理框架下对剩余时间预测任务进行形式化定义,给出一系列评估指标,并提出一种基于多抽象层次变迁系统的剩余时间预测方法.后续一些研究者对该方法进行了改进,比如:Polato等提出数据感知的变迁系统,为每个状态节点构建朴素贝叶斯分类模型,并为每个变迁(状态节点连边)利用支持向量回归算法构建剩余时间预测模型9].除了使用变迁系统外,一些研究者常使用其他业务流程模型进行剩余时间预测,比如非马尔科夫随机Petri网[4]、流程树[5]等.利用业务流程模型进行剩余时间预测的优势是能够利用形式化的流程模型构建业务流程的抽象视图,特别是能够对特殊的业务场景进行有效建模,比如:Jimenez-Ramirez等利用声明式流程模型解决多实例、资源约束等复杂场景下的剩余时间预测问题[10];Senderovich等利用队列流程模型解决多个服务流程处于存在排队状态时的剩余时间预测问题[11].然而,基于业务流程模型的方法也存在很多局限,由于业务流程模型的形式化较强,难以有效处理真实世界中的大规模高噪音事件日志;此外,业务流程模型往往需要事先指定,这限制了该类方法的实用场景. ...
... 剩余时间预测问题由van der Aalst等首次系统提出[2],其在业务流程管理框架下对剩余时间预测任务进行形式化定义,给出一系列评估指标,并提出一种基于多抽象层次变迁系统的剩余时间预测方法.后续一些研究者对该方法进行了改进,比如:Polato等提出数据感知的变迁系统,为每个状态节点构建朴素贝叶斯分类模型,并为每个变迁(状态节点连边)利用支持向量回归算法构建剩余时间预测模型9].除了使用变迁系统外,一些研究者常使用其他业务流程模型进行剩余时间预测,比如非马尔科夫随机Petri网[4]、流程树[5]等.利用业务流程模型进行剩余时间预测的优势是能够利用形式化的流程模型构建业务流程的抽象视图,特别是能够对特殊的业务场景进行有效建模,比如:Jimenez-Ramirez等利用声明式流程模型解决多实例、资源约束等复杂场景下的剩余时间预测问题[10];Senderovich等利用队列流程模型解决多个服务流程处于存在排队状态时的剩余时间预测问题[11].然而,基于业务流程模型的方法也存在很多局限,由于业务流程模型的形式化较强,难以有效处理真实世界中的大规模高噪音事件日志;此外,业务流程模型往往需要事先指定,这限制了该类方法的实用场景. ...
Predictive Business Process Monitoring with LSTM Neural Networks
... 近年来,基于机器学习特别是深度学习的剩余时间预测方法成为该领域的研究热点.这类方法优势是对噪音的鲁棒性较强,而且能够高效处理大规模事件日志,代表性工作有:Bevacqua等使用聚类技术从事件日志中发现业务流程的变种,之后使用回归技术在不同变种的流程执行实例上构建剩余时间预测模型[12].传统机器学习方法的有效性往往依赖于实例特征的设计,一些研究者针对剩余时间预测任务中的特征工程问题开展研究,比如:Senderovich等在设计流程实例特征时同时考虑了实例自身的属性、实例内部事件的属性,以及实例外部的上下文信息[13];Leontjeva等通过设计序列编码方案构建流程实例特征[14].为克服特征工程的困难,最近有研究者开始尝试使用深度学习构建剩余时间预测模型,实现流程实例特征的自动学习,代表性的工作有:Verenich等使用长短期记忆循环神经网络(Long-Short Term Memory,LSTM)训练剩余时间和后续活动的联合预测模型,取得了比基于业务流程模型和传统机器学习方法更优的预测效果[8].从现有的预测效果而言,深度学习在剩余时间预测任务上有着广阔的应用前景. ...
Time and Activity Sequence Prediction of Business Process Instances
2
2018
... 剩余时间预测问题由van der Aalst等首次系统提出[2],其在业务流程管理框架下对剩余时间预测任务进行形式化定义,给出一系列评估指标,并提出一种基于多抽象层次变迁系统的剩余时间预测方法.后续一些研究者对该方法进行了改进,比如:Polato等提出数据感知的变迁系统,为每个状态节点构建朴素贝叶斯分类模型,并为每个变迁(状态节点连边)利用支持向量回归算法构建剩余时间预测模型9].除了使用变迁系统外,一些研究者常使用其他业务流程模型进行剩余时间预测,比如非马尔科夫随机Petri网[4]、流程树[5]等.利用业务流程模型进行剩余时间预测的优势是能够利用形式化的流程模型构建业务流程的抽象视图,特别是能够对特殊的业务场景进行有效建模,比如:Jimenez-Ramirez等利用声明式流程模型解决多实例、资源约束等复杂场景下的剩余时间预测问题[10];Senderovich等利用队列流程模型解决多个服务流程处于存在排队状态时的剩余时间预测问题[11].然而,基于业务流程模型的方法也存在很多局限,由于业务流程模型的形式化较强,难以有效处理真实世界中的大规模高噪音事件日志;此外,业务流程模型往往需要事先指定,这限制了该类方法的实用场景. ...
Time Prediction on Multi-Perspective Declarative Business Processes
1
2018
... 剩余时间预测问题由van der Aalst等首次系统提出[2],其在业务流程管理框架下对剩余时间预测任务进行形式化定义,给出一系列评估指标,并提出一种基于多抽象层次变迁系统的剩余时间预测方法.后续一些研究者对该方法进行了改进,比如:Polato等提出数据感知的变迁系统,为每个状态节点构建朴素贝叶斯分类模型,并为每个变迁(状态节点连边)利用支持向量回归算法构建剩余时间预测模型9].除了使用变迁系统外,一些研究者常使用其他业务流程模型进行剩余时间预测,比如非马尔科夫随机Petri网[4]、流程树[5]等.利用业务流程模型进行剩余时间预测的优势是能够利用形式化的流程模型构建业务流程的抽象视图,特别是能够对特殊的业务场景进行有效建模,比如:Jimenez-Ramirez等利用声明式流程模型解决多实例、资源约束等复杂场景下的剩余时间预测问题[10];Senderovich等利用队列流程模型解决多个服务流程处于存在排队状态时的剩余时间预测问题[11].然而,基于业务流程模型的方法也存在很多局限,由于业务流程模型的形式化较强,难以有效处理真实世界中的大规模高噪音事件日志;此外,业务流程模型往往需要事先指定,这限制了该类方法的实用场景. ...
Queue Mining for Delay Prediction in Multi-Class Service Processes
1
2015
... 剩余时间预测问题由van der Aalst等首次系统提出[2],其在业务流程管理框架下对剩余时间预测任务进行形式化定义,给出一系列评估指标,并提出一种基于多抽象层次变迁系统的剩余时间预测方法.后续一些研究者对该方法进行了改进,比如:Polato等提出数据感知的变迁系统,为每个状态节点构建朴素贝叶斯分类模型,并为每个变迁(状态节点连边)利用支持向量回归算法构建剩余时间预测模型9].除了使用变迁系统外,一些研究者常使用其他业务流程模型进行剩余时间预测,比如非马尔科夫随机Petri网[4]、流程树[5]等.利用业务流程模型进行剩余时间预测的优势是能够利用形式化的流程模型构建业务流程的抽象视图,特别是能够对特殊的业务场景进行有效建模,比如:Jimenez-Ramirez等利用声明式流程模型解决多实例、资源约束等复杂场景下的剩余时间预测问题[10];Senderovich等利用队列流程模型解决多个服务流程处于存在排队状态时的剩余时间预测问题[11].然而,基于业务流程模型的方法也存在很多局限,由于业务流程模型的形式化较强,难以有效处理真实世界中的大规模高噪音事件日志;此外,业务流程模型往往需要事先指定,这限制了该类方法的实用场景. ...
A Data-driven Prediction Framework for Analyzing and Monitoring Business Process Performances
1
2013
... 近年来,基于机器学习特别是深度学习的剩余时间预测方法成为该领域的研究热点.这类方法优势是对噪音的鲁棒性较强,而且能够高效处理大规模事件日志,代表性工作有:Bevacqua等使用聚类技术从事件日志中发现业务流程的变种,之后使用回归技术在不同变种的流程执行实例上构建剩余时间预测模型[12].传统机器学习方法的有效性往往依赖于实例特征的设计,一些研究者针对剩余时间预测任务中的特征工程问题开展研究,比如:Senderovich等在设计流程实例特征时同时考虑了实例自身的属性、实例内部事件的属性,以及实例外部的上下文信息[13];Leontjeva等通过设计序列编码方案构建流程实例特征[14].为克服特征工程的困难,最近有研究者开始尝试使用深度学习构建剩余时间预测模型,实现流程实例特征的自动学习,代表性的工作有:Verenich等使用长短期记忆循环神经网络(Long-Short Term Memory,LSTM)训练剩余时间和后续活动的联合预测模型,取得了比基于业务流程模型和传统机器学习方法更优的预测效果[8].从现有的预测效果而言,深度学习在剩余时间预测任务上有着广阔的应用前景. ...
Intra and Inter-Case Features in Predictive Process Monitoring: A Tale of Two Dimensions
1
2017
... 近年来,基于机器学习特别是深度学习的剩余时间预测方法成为该领域的研究热点.这类方法优势是对噪音的鲁棒性较强,而且能够高效处理大规模事件日志,代表性工作有:Bevacqua等使用聚类技术从事件日志中发现业务流程的变种,之后使用回归技术在不同变种的流程执行实例上构建剩余时间预测模型[12].传统机器学习方法的有效性往往依赖于实例特征的设计,一些研究者针对剩余时间预测任务中的特征工程问题开展研究,比如:Senderovich等在设计流程实例特征时同时考虑了实例自身的属性、实例内部事件的属性,以及实例外部的上下文信息[13];Leontjeva等通过设计序列编码方案构建流程实例特征[14].为克服特征工程的困难,最近有研究者开始尝试使用深度学习构建剩余时间预测模型,实现流程实例特征的自动学习,代表性的工作有:Verenich等使用长短期记忆循环神经网络(Long-Short Term Memory,LSTM)训练剩余时间和后续活动的联合预测模型,取得了比基于业务流程模型和传统机器学习方法更优的预测效果[8].从现有的预测效果而言,深度学习在剩余时间预测任务上有着广阔的应用前景. ...
Complex Symbolic Sequence Encodings for Predictive Monitoring of Business Processes
2
2015
... 近年来,基于机器学习特别是深度学习的剩余时间预测方法成为该领域的研究热点.这类方法优势是对噪音的鲁棒性较强,而且能够高效处理大规模事件日志,代表性工作有:Bevacqua等使用聚类技术从事件日志中发现业务流程的变种,之后使用回归技术在不同变种的流程执行实例上构建剩余时间预测模型[12].传统机器学习方法的有效性往往依赖于实例特征的设计,一些研究者针对剩余时间预测任务中的特征工程问题开展研究,比如:Senderovich等在设计流程实例特征时同时考虑了实例自身的属性、实例内部事件的属性,以及实例外部的上下文信息[13];Leontjeva等通过设计序列编码方案构建流程实例特征[14].为克服特征工程的困难,最近有研究者开始尝试使用深度学习构建剩余时间预测模型,实现流程实例特征的自动学习,代表性的工作有:Verenich等使用长短期记忆循环神经网络(Long-Short Term Memory,LSTM)训练剩余时间和后续活动的联合预测模型,取得了比基于业务流程模型和传统机器学习方法更优的预测效果[8].从现有的预测效果而言,深度学习在剩余时间预测任务上有着广阔的应用前景. ...