Please wait a minute...
Advanced Search
数据分析与知识发现  2021, Vol. 5 Issue (7): 59-69     https://doi.org/10.11925/infotech.2096-3467.2021.0089
  研究论文 本期目录 | 过刊浏览 | 高级检索 |
RLCPAR:一种基于强化学习的中文专利摘要改写模型*
张乐1,冷基栋1,吕学强1,崔卓2,王磊1,游新冬1()
1北京信息科技大学网络文化与数字传播北京市重点实验室 北京 100101
2北京信息科技大学信息与通信工程学院 北京 100101
RLCPAR: A Rewriting Model for Chinese Patent Abstracts Based on Reinforcement Learning
Zhang Le1,Leng Jidong1,Lv Xueqiang1,Cui Zhuo2,Wang Lei1,You Xindong1()
1Beijing Key Laboratory of Internet Culture and Digital Dissemination Research, Beijing Information Science & Technology University, Beijing 100101, China
2School of Information & Communication Engineering, Beijing Information Science & Technology University, Beijing 100101, China
全文: PDF (1021 KB)   HTML ( 11
输出: BibTeX | EndNote (RIS)      
摘要 

【目的】 提出一种基于强化学习的中文专利摘要改写模型(RLCPAR),以解决现有的自动摘要方法在处理多句子摘要改写时存在的句子冗余和准确率低的问题。【方法】 引入专利术语词典,运用基于强化学习的句子抽取方法,对专利说明书文本的关键句进行抽取,利用Transformer深度神经网络文本生成方法生成候选摘要,最终融合专利原始摘要信息,经过语义去重和排序得到改写的摘要。【结果】 RLCPAR模型实现端到端的专利摘要改写,并且在ROUGE-1、ROUGE-2和ROUGE-L评价标准上分别达到56.95%、37.21%和51.24%。【局限】 数据主要来源于中药材领域,在其他领域中的效果有待验证。【结论】 RLCPAR模型明显优于其他序列生成方法,改善了中文专利摘要改写的效果。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
张乐
冷基栋
吕学强
崔卓
王磊
游新冬
关键词 专利摘要自动改写强化学习神经网络文本生成    
Abstract

[Objective] This paper proposes a rewriting model for Chinese patent abstracts based on reinforcement learning (RLCPAR), aiming to address the issues of sentence redundancy and low accuracy in rewriting multi-sentence abstracts. [Methods] First, we used the RLCPAR to extract key sentences from patent descriptions with the help of patent term dictionary and reinforcement learning. Then, we generated the candidate abstracts using the Transformer deep neural network. Finally, we merged the candidate abstracts with the original patent abstracts to obtain the rewritten abstracts after semantic de-duplication and sorting. [Results] The proposed model effectively finished the end-to-end rewriting of patent abstracts. The scores of RLCPAR were 56.95%, 37.21% and 51.24% with the ROUGE-1, ROUGE-2 and ROUGE-L criteria. [Limitations] The experimental data, which were mainly on Chinese medicine materials, needs to be expanded to other fields. [Conclusions] The PLCPAR model is much better than other sequence generation methods and improves the rewriting quality of Chinese patent abstracts.

Key wordsPatent Abstract    Automatic Rewriting    Reinforcement Learning    Neural Network    Text Generation
收稿日期: 2021-01-27      出版日期: 2021-08-11
ZTFLH:  TP391  
基金资助:*国家自然科学基金项目(61671070);青海省藏文信息处理与机器翻译重点实验室/藏文信息处理教育部重点实验室开放课题基金项目(2019Z002)
通讯作者: 游新冬,ORCID: 0000-0002-3351-4599     E-mail: ybyq920@126.com
引用本文:   
张乐, 冷基栋, 吕学强, 崔卓, 王磊, 游新冬. RLCPAR:一种基于强化学习的中文专利摘要改写模型*[J]. 数据分析与知识发现, 2021, 5(7): 59-69.
Zhang Le, Leng Jidong, Lv Xueqiang, Cui Zhuo, Wang Lei, You Xindong. RLCPAR: A Rewriting Model for Chinese Patent Abstracts Based on Reinforcement Learning. Data Analysis and Knowledge Discovery, 2021, 5(7): 59-69.
链接本文:  
https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/10.11925/infotech.2096-3467.2021.0089      或      https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/Y2021/V5/I7/59
Fig.1  中文专利摘要改写框架
原句子 分词及词性标注
临床研究显示,枸杞多糖可明显改善脂肪肝患者的临床症状。 临床/JJ 研究/NN 显示/VV,/PU 枸杞多糖/NN 可/VV 明显/AD 改善/V脂肪肝/NN患者/NN 的/DEG 临床/JJ 症状/NN 。/PU
Table 1  句子预处理示例
字段 示例
专利申请号 CN201410640231
人工摘要 一种蓝莓猕猴桃果酱及其制备方法。制备原料包括,草莓酱蓝莓猕猴桃樱桃山竹榛子仁山楂山豆根草河车白头翁穿心莲柠檬酸蜂蜜和木糖醇。制备方法为,将猕猴桃山竹去皮,将蓝莓樱桃洗净;将榛子仁与猕猴桃山竹蓝莓樱桃加水煮制后,将所有物料打碎,得到混合果浆将山楂山豆根草河车白头翁穿心莲加水煎煮,过滤后将滤液进行喷雾干燥,得到中草药粉末将柠檬酸木糖醇蜂蜜与中草药粉末加入到混合果浆中,混匀,得到混合物料,小火煮沸,并不断搅拌使水分蒸发,直至较粘稠后,与草莓酱混匀,进行灌装密封消毒,即得。所述果酱,制备工艺简单,含有丰富的钙钾硒锌锗等微量元素和人体所需17种氨基酸,还含有丰富的维生素葡萄酸果糖柠檬酸苹果酸脂肪等,口感细腻温润,添加了山楂白头翁等中草药。使得具有美容养颜功效的同时还具有一定的助消化清热解毒的功效。
摘要 本发明公开了一种蓝莓猕猴桃果酱及其制备方法。所述蓝莓猕猴桃果酱由下列重量的原料组成:草莓酱蓝莓猕猴桃樱桃山竹榛子仁山楂山豆根草河车白头翁穿心莲柠檬酸蜂蜜木糖醇本发明制备的蓝莓猕猴桃果酱,制备工艺简单,含有丰富的钙钾硒锌锗等微量元素和人体所需17种氨基酸,还含有丰富的维生素葡萄酸果糖柠檬酸苹果酸脂肪等,口感细腻温润。\n添加了山楂白头翁等中草药,使得本发明具有美容养颜功效的同时还具有一定的助消化清热解毒的功效。
说明书
(截取)
一种蓝莓猕猴桃果酱及其制备方法。技术领域:本发明属于食品加工技术领域,具体涉及一种蓝莓猕猴桃果酱及其制备方法。背景技术:食品饮料是人们消耗最快的消费品,食品饮料关系到人们的身体健康,现在市场上的副食品越来越多,但是大多数的副食品只是能解决人们基本需求,人们的生活水平在不断的提高。对副食品的营养要求也越来越高。果酱是把水果糖及酸度调节剂混合后熬制而成的凝胶物质,主要用来涂抹于面包或吐司上食用。不论草莓蓝莓葡萄玫瑰等小型果实,或李橙苹果桃等大型果实切小后,同样可制成果酱,不过调制时通常只使用一种果实,且制备的果酱无保健养生功能。发明内容:本发明的目的在于提供一种具有保健作用的蓝莓猕猴桃果酱及其制备方法。为实现上述目的,本发明提供如下技术方案:一种蓝莓猕猴桃果酱。所述蓝莓猕猴桃果酱由下列重量的原料组成:草莓酱蓝莓猕猴桃樱桃山竹榛子仁山楂山豆根草河车白头翁穿心莲柠檬酸蜂蜜木糖醇。进一步。所述蓝莓猕猴桃果酱由下列重量的原料组成:草莓酱蓝莓猕猴桃樱桃山竹榛子仁山楂山豆根草河车白头翁穿心莲柠檬酸蜂蜜木糖醇。本发明还提供一种蓝莓猕猴桃果酱的制备方法,所述制备方法包括如下步骤:将猕猴桃山竹去皮,将蓝莓樱桃洗净后,待用将榛子仁与步骤所得猕猴桃山竹蓝莓樱桃加适量水进行煮制,然后将所有物料转移至磨浆机,将物料打碎,得到中草药粉末将柠檬酸木糖醇蜂蜜与步骤所得的中草药粉末加入到步骤所得的混合果酱中,混合均匀,得到混合物料将步骤所得的混合物料小火煮沸,并不断…
Table 2  专利数据示例
参数名 参数值
句子最大长度 100
词向量维度 128
隐藏层大小 256
批处理个数 64
学习率 0.000 1
提前终止 5
学习率衰减 0.5
强化学习的折扣因子 0.95
Table 3  参数设置
模型 ROUGE-1/% ROUGE-2/% ROUGE-L/%
Baseline 53.42 32.25 48.27
TextRank 37.60 18.21 31.21
PGN+RL 40.35 23.45 32.67
Top6+Seq2Seq 41.00 24.19 36.27
FASRS 51.68 32.45 44.88
RLCPAR 52.76 33.64 45.58
RLCPAR+Text 56.63 36.38 50.87
Table 4  实验结果(说明书正文)
Fig.2  对比实验结果
模型 ROUGE-1/% ROUGE-2/% ROUGE-L/%
Baseline 53.42 32.25 48.27
TextRank 41.59 22.52 34.18
PGN+RL 44.85 26.00 36.15
Top6+Seq2Seq 45.09 27.33 39.33
FASRS 54.84 36.48 48.21
RLCPAR 55.89 36.96 49.73
RLCPAR+Text 56.95 37.21 51.24
Table 5  实验结果(原始摘要+说明书正文)
Fig.3  对比实验结果(原始摘要+说明书正文)
对比项 内容
原始摘要 一种治疗复发性口腔溃疡的汤剂药物及制备方法,涉及治疗复发性口腔溃疡的中草药配方,其药物是由下述重量份的原料制成的:防风、栀子、藿香、炮姜、麦冬、连翘各8-10克,石膏15-18克,炒苍术、荷叶各4-5克。本发明的特点是取材容易、制备方便、费用低廉、见效快。
改写摘要 一种含有防风、栀子、藿香、炮姜等中药成分的汤剂药物及其制备方法。制备方法为:先将配比量、防风、栀子、藿香、炮姜、麦冬、连翘、石膏、炒苍术、荷叶等中草药放入煎药器具内,加入洁净水,入煎前将上述中草药浸泡半小时,使其充分湿润,以利药汁充分煎出。该药物具有清热泻火消肿排脓的功效,可用于治疗复发性口腔溃疡。
人工摘要 一种治疗复发性口腔溃疡的药物,将防风、栀子、藿香、炮姜、麦冬、连翘、石膏、炒苍术、荷叶加水浸泡后煎熬,除去药渣,得汤剂。该药物具有清热泻火、消肿排脓的功效,用于治疗复发性口腔溃疡。
分析 改写摘要在原始摘要的基础上添加了制备方法和功效。
原始摘要 一种治疗腰间盘突出的中药,其特征的具体成分及配重比是:制草乌:9克,制川乌:9克,麻黄:9克,白芷:9克,仓术:9克,透骨草:9克,地龙:9克,土元:9克,当归:10克,白芍:10克,黄芪:10克,白术:10克,党参:10克,远志:10克,合欢花:10克,细辛:4克,木瓜:10克,独活:9克。用该中药治疗腰间盘突出的病人,不需要开刀住院治疗,就可很快的治愈病人的病症并解除病人的痛苦,用该治疗方法,花费少、治愈快,特别适用于广大缺医少药的农村及工薪阶层,是造福人类的好药,极具推广应用的巨大价值。
改写摘要 一种治疗腰间盘突出的中药。一种中药组合物,原料为:白术 党参 远志 合欢花 细辛 木瓜 独活5.45%,以上中药精确度均为1%。该药物具有肝肾益气活血止痛的功效,可用于治疗气虚血损,风寒湿邪外袭,寒凝筋脉,气滞血瘀湿凝成痰。
人工摘要 一种治疗腰间盘突出的中药组合物。该组合物由制草乌、制川乌、麻黄、白芷、仓术、透骨草、地龙、土元、当归、白芍、黄芪、白术、党参、远志、合欢花、细辛、木瓜、独活等中药组成。将以上中药组合物浸泡在50度高粱酒内一个月得到成品。该中药提取物可治疗腰间盘突出的病人,不需要开刀住院,花费少、治愈快。
分析 改写摘要比原始摘要在功效描述上更加详细全面。
Table 6  摘要改写结果示例
[1] 张金柱, 主立鹏, 刘菁婕. 基于表示学习的无监督跨语言专利推荐研究[J]. 数据分析与知识发现, 2020, 4(10):93-103.
[1] (Zhang Jinzhu, Zhu Lipeng, Liu Jingjie. Unsupervised Cross-Language Model for Patent Recommendation Based on Representation[J]. Data Analysis and Knowledge Discovery, 2020, 4(10):93-103.)
[2] 杨婧, 法雷, 张延花. 面向查询的专利文献自动摘要方法[J]. 产业与科技论坛, 2014, 13(16):70-71.
[2] (Yang Jing, Fa Lei, Zhang Yanhua. Query Oriented Automatic Patent Document Summarization Method[J]. Estate and Science Tribune, 2014, 13(16):70-71.)
[3] 师朝阳. 中国专利摘要改写中“有益效果”问题的研讨[J]. 专利文献研究, 2007(2):9-13.
[3] (Shi Chaoyang. Discussion on the “Beneficial Effect” in the Rewriting of Chinese Patent Abstract[J]. Patent Literature Research, 2007(2):9-13.)
[4] Berg-Kirkpatrick T, Gillick D, Klein D. Jointly Learning to Extract and Compress[C]// Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies. 2011:481-490.
[5] Banko M, Mittal V O, Witbrock M J. Headline Generation Based on Statistical Translation[C]// Proceedings of the 38th Annual Meeting on Association for Computational Linguistics. 2000:318-325.
[6] Radev D R, Jing H, Sty M, et al. Centroid-based Summarization of Multiple Documents[J]. Information Processing & Management, 2004, 40(6):919-938.
doi: 10.1016/j.ipm.2003.10.006
[7] Knight K, Marcu D. Statistics-Based Summarization -Step One: Sentence Compression[C]// Proceedings of the 17th National Conference on Artificial Intelligence and 12th Conference on Innovative Applications of Artificial Intelligence. Austin, Texas: AAAI Press, 2000:703-710.
[8] Gillick D, Favre B. A Scalable Global Model for Summarization[C]// Proceedings of the Workshop on Integer Linear Programming for Natural Language Processing. Stroudsburg: Association for Computational Linguistics, 2009: 10-18.
[9] Marcu D. The Theory and Practice of Discourse Parsing and Summarization by Daniel Marcu[J]. Computational Linguistics, 2000, 28(1):81-83.
doi: 10.1162/coli.2000.28.1.81
[10] Pera M S, Ng Y K. A Naive Bayes Classifier for Web Document Summaries Created by Using Word Similarity and Significant Factors[J]. International Journal on Artificial Intelligence Tools, 2010, 19(4):465-486.
doi: 10.1142/S0218213010000285
[11] 张晗, 赵玉虹. 基于语义图的医学多文档摘要提取模型构建[J]. 图书情报工作, 2017, 61(8):112-119.
[11] (Zhang Han, Zhao Yuhong. Constructing Semantic Graph Based on Summary Extracting Model for Multiple for Multiple Medical Documents[J]. Library and Information Service, 2017, 61(8):112-119.)
[12] Yan S, Wan X J. SRRank: Leveraging Semantic Roles for Extractive Multi-Document Summarization[J]. IEEE-ACM Transactions on Audio Speech and Language Processing, 2014, 22(12):2048-2058.
[13] Cheng J P, Lapata M. Neural Summarization by Extracting Sentences and Words[C]// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2016: 484-494.
[14] 贾晓婷, 王名扬, 曹宇. 结合Doc2Vec与改进聚类算法的中文单文档自动摘要方法研究[J]. 数据分析与知识发现, 2018, 2(2):86-95.
[14] (Jia Xiaoting, Wang Mingyang, Cao Yu. Automatic Abstracting of Chinese Document with Doc2Vec and Improved Clustering Algorithm[J]. Data Analysis and Knowledge Discovery, 2018, 2(2):86-95.)
[15] 张迎, 王中卿, 王红玲. 基于篇章主次关系的单文档抽取式摘要方法研究[J]. 中文信息学报, 2019, 33(8):67-76.
[15] (Zhang Ying, Wang Zhongqing, Wang Hongling. Single Document Extractive Summarization with Satellite and Nuclear Relations[J]. Journal of Chinese Information Processing, 2019, 33(8):67-76.)
[16] Liu F, Flanigan J, Thomson S, et al. Toward Abstractive Summarization Using Semantic Representations[C]// Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg: Association for Computational Linguistics, 2015: 1077-1086.
[17] Bing L D, Li P J, Liao Y, et al. Abstractive Multi-Document Summarization via Phrase Selection and Merging[J]. Computational Linguistics, 2015, 31(4):505-530.
doi: 10.1162/089120105775299140
[18] Nallapati R, Zhou B W, Dos Santos C N, et al. Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond[C]// Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning. Stroudsburg: Association for Computational Linguistics, 2016: 280-290.
[19] See A, Liu P J, Manning C D. Get to the Point: Summarization with Pointer-generator Networks[C]// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2017: 1073-1083.
[20] 沈思, 胡昊天, 叶文豪, 等. 基于全字语义的摘要结构功能自动识别研究[J]. 情报学报, 2019, 38(1):79-88.
[20] (Shen Si, Hu Haotian, Ye Wenhao, et al. Research on Abstract Structure Function Automatic Recognition Based on Full Character Semantics[J]. Journal of the China Society for Scientific and Technical Information, 2019, 38(1):79-88.)
[21] Wang K, Quan X J, Wang R. BiSET: Bi-directional Selective Encoding with Template for Abstractive Summarization[C]// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence, Stroudsburg: Association for Computational Linguistics, 2019: 2153-2162.
[22] Song K T, Tan X, Qin T, et al. Mass: Masked Sequence to Sequence Pre-training for Language Generation[C]// Proceedings of the 36th International Conference on Machine Learning. California:International Conference on Machine Learning, 2019: 5926-5936.
[23] Vaswani A, Shazeer N, Parmar N, et al. Attention is All You Need[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook: Curran Associates, 2017: 6000-6010.
[24] Le Q V, Mikolov T. Distributed Representations of Sentences and Documents[C]// Proceedings of the 31st International Conference on Machine Learning. New York: ACM, 2014: 1188-1196.
[25] Vinyals O, Fortunato M, Jaitly N. Pointer Networks[C]// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2015: 2692-2700.
[26] Mnih V, Badia A P, Mirza M, et al. Asynchronous Methods for Deep Reinforcement Learning[C]// Proceedings of the 33rd International Conference on Machine Learning. USA: International Machine Learning Society, 2016: 2850-2869.
[27] Paulus R, Xiong C, Socher R. A Deep Reinforced Model for Abstractive Summarization[C]// Proceedings of International Conference on Learning Representations. 2018: 428-441.
[28] Lin C Y. ROUGE: A Package for Automatic Evaluation of Summaries[C]// Proceedings of the Workshop on Text Summarization Branches Out (WAS 2004). Stroudsburg: Association for Computational Linguistics, 2004: 74-81.
[29] Chen Y C, Bansal M. Fast Abstractive Summarization with Rein-force-selected Sentence Rewriting[C]// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2018: 675-686.
[1] 范少萍,赵雨宣,安新颖,吴清强. 基于卷积神经网络的医学实体关系分类模型研究*[J]. 数据分析与知识发现, 2021, 5(9): 75-84.
[2] 范涛,王昊,吴鹏. 基于图卷积神经网络和依存句法分析的网民负面情感分析研究*[J]. 数据分析与知识发现, 2021, 5(9): 97-106.
[3] 马江微, 吕学强, 游新冬, 肖刚, 韩君妹. 融合BERT与关系位置特征的军事领域关系抽取方法*[J]. 数据分析与知识发现, 2021, 5(8): 1-12.
[4] 江雅仁, 乐小虬. 一对多实体关系少样本持续学习方法研究[J]. 数据分析与知识发现, 2021, 5(8): 45-53.
[5] 顾耀文, 张博文, 郑思, 杨丰春, 李姣. 基于图注意力网络的药物ADMET分类预测模型构建方法*[J]. 数据分析与知识发现, 2021, 5(8): 76-85.
[6] 阮小芸,廖健斌,李祥,杨阳,李岱峰. 基于人才知识图谱推理的强化学习可解释推荐研究*[J]. 数据分析与知识发现, 2021, 5(6): 36-50.
[7] 宋若璇,钱力,杜宇. 基于科技论文中未来工作句集的学术创新构想话题自动生成方法研究*[J]. 数据分析与知识发现, 2021, 5(5): 10-20.
[8] 韩普,张展鹏,张明淘,顾亮. 基于多特征融合的中文疾病名称归一化研究*[J]. 数据分析与知识发现, 2021, 5(5): 83-94.
[9] 孟镇,王昊,虞为,邓三鸿,张宝隆. 基于特征融合的声乐分类研究*[J]. 数据分析与知识发现, 2021, 5(5): 59-70.
[10] 王楠,李海荣,谭舒孺. 基于改进SMOTE算法与集成学习的舆情反转预测研究*[J]. 数据分析与知识发现, 2021, 5(4): 37-48.
[11] 李丹阳, 甘明鑫. 基于多源信息融合的音乐推荐方法 *[J]. 数据分析与知识发现, 2021, 5(2): 94-105.
[12] 程铁军, 王曼, 黄宝凤, 冯兰萍. 基于CEEMDAN-BP模型的突发事件网络舆情预测研究*[J]. 数据分析与知识发现, 2021, 5(11): 59-67.
[13] 丁浩, 艾文华, 胡广伟, 李树青, 索炜. 融合用户兴趣波动时序的个性化推荐模型*[J]. 数据分析与知识发现, 2021, 5(11): 45-58.
[14] 尹浩然,曹金璇,曹鲁喆,王国栋. 扩充语义维度的BiGRU-AM突发事件要素识别研究*[J]. 数据分析与知识发现, 2020, 4(9): 91-99.
[15] 邱尔丽,何鸿魏,易成岐,李慧颖. 基于字符级CNN技术的公共政策网民支持度研究 *[J]. 数据分析与知识发现, 2020, 4(7): 28-37.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
版权所有 © 2015 《数据分析与知识发现》编辑部
地址:北京市海淀区中关村北四环西路33号 邮编:100190
电话/传真:(010)82626611-6626,82624938
E-mail:jishu@mail.las.ac.cn