Please wait a minute...
Advanced Search
数据分析与知识发现  2021, Vol. 5 Issue (12): 88-97     https://doi.org/10.11925/infotech.2096-3467.2021.0643
  研究论文 本期目录 | 过刊浏览 | 高级检索 |
基于Mask R-CNN的甲骨文拓片的自动检测与识别研究*
刘芳1,2,3,李华飙1,4(),马晋5,闫升5,金沛然5
1中国国家博物馆 北京 100006
2中国科学院文献情报中心 北京 100190
3中国科学院大学经济与管理学院图书情报与档案管理系 北京 100190
4馆藏资源活化技术文化和旅游部重点实验室 北京 100006
5天津恒达文博科技股份有限公司 天津 300384
Automatic Detection and Recognition of Oracle Rubbings Based on Mask R-CNN
Liu Fang1,2,3,Li Huabiao1,4(),Ma Jin5,Yan Sheng5,Jin Peiran5
1National Museum of China, Beijing 100006, China
2National Science Library, Chinese Academy of Sciences, Beijing 100190, China
3Department of Library, Information and Archives Management, School of Economics and Management, University of Chinese Academy of Sciences, Beijing 100190, China
4Key Laboratory of Collection Resources Revitalising Technology, Ministry of Culture and Tourism, Beijing 100006, China
5Tianjin Hengda Wenbo S&T Co., Ltd, Tianjin 300384, China
全文: PDF (4916 KB)   HTML ( 16
输出: BibTeX | EndNote (RIS)      
摘要 

【目的】 将深度学习算法应用于甲骨文拓片的自动检测与识别中,助力传统文化的研究与普及。【方法】 针对甲骨文拓片的图像特点创建数据集,在Mask R-CNN算法基础上,使用三元组损失函数和旋转角度回归技术进行优化,提高甲骨文字分类的准确性。【结果】 对于训练数据集,甲骨文字符召回率为82%,检测和识别准确率均可达到95%,能够满足项目预计的技术指标要求。【局限】 在文字残缺严重或漫漶等情境下,算法性能有待提升。【结论】 模型具备实际使用价值,可进一步完善并推广应用。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
刘芳
李华飙
马晋
闫升
金沛然
关键词 甲骨文拓片Mask R-CNN自动检测自动识别    
Abstract

[Objective] This paper applies the deep learning algorithm to automatically detect and recognize Oracle rubbings, aiming to improve the research and promotion of traditional culture. [Methods] Based on the Mask R-CNN algorithm, we used the three-tuple loss function and rotation angle regression technique to optimize and improve the accuracy of Oracle character classification. [Results] We examined our model with training datasets of Oracle Rubbing Images. The recall of Oracle characters reached 82%, and the detection and identification accuracy reached 95%, which met the expectations of the project. [Limitations] For the severe damaged or ambiguous texts, the performance of our new algorithm needs to be improved. [Conclusions] The proposed model has many practical values and could be further polished.

Key wordsOracle Rubbings    Mask R-CNN    Automatic Detection    Automatic Recognition
收稿日期: 2021-06-29      出版日期: 2022-01-20
ZTFLH:  G250  
基金资助:* 文化艺术和旅游研究项目信息化发展专项项目(MCT2020XZ12)
通讯作者: 李华飙,ORCID:0000-0003-4336-0287     E-mail: lihuabiao@chnmuseum.cn
引用本文:   
刘芳, 李华飙, 马晋, 闫升, 金沛然. 基于Mask R-CNN的甲骨文拓片的自动检测与识别研究*[J]. 数据分析与知识发现, 2021, 5(12): 88-97.
Liu Fang, Li Huabiao, Ma Jin, Yan Sheng, Jin Peiran. Automatic Detection and Recognition of Oracle Rubbings Based on Mask R-CNN. Data Analysis and Knowledge Discovery, 2021, 5(12): 88-97.
链接本文:  
https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/10.11925/infotech.2096-3467.2021.0643      或      https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/Y2021/V5/I12/88
Fig.1  整体技术路线
Fig.2  数据采集与标注
分类 学者 算法类型 特点
传统方法 刘永革等[21] SVM 采用分块直方图的方式提取甲骨文的特征形态
周新伦等[22] 迪卡尔直角坐标 抽取甲骨文的端点、差点、块、孔作为拓扑特征
吕肖庆等[23] 曲率直方图 结合整体统计结果和局部曲率计算甲骨文字的特征向量
基于深度学习的方法 鲁绪正等[24] Capsule 将甲骨文同时拆解成多个构件进行识别
邢济慈[25] YOLOv3 文字自动定位,单字自动检测识别
徐贵良[26] YOLOv2 甲骨文构件自动检测识别
Table 1  甲骨文识别研究案例
Fig.3  甲骨文拓片检测与识别的主体算法架构
均值 检测性能 识别性能
R P F1 R P F1
字按图
平均
0.913 9 0.971 8 0.939 4 0.902 7 0.958 6 0.927 4
字累加
平均
0.898 9 0.982 8 0.939 0 0.882 0 0.964 3 0.921 3
Table 2  甲骨文拓片检索与识别效果
算法 检测性能 识别性能
R P F1 R P F1
Faster R-CNN 0.370 7 0.819 3 0.510 5 0.167 5 0.369 7 0.230 5
本文算法 0.785 3 0.948 4 0.854 4 0.566 6 0.668 3 0.610 0
Table 3  与Faster R-CNN的性能对比分析
训练样本 阶段训练 本次训练
训练数据集 人工标注拓片数量 500张 3 300张
甲骨文字符类别 499个 831个
甲骨文字符个数 约8 000个 约40 000个
样本分布 极度不均衡,个别类别只有一个样本 不均衡,个别类别样本较少
数据增广方式 随机缩放、旋转、透视、亮度、剪切变换;拓片拟真
训练参数 训练回合数 45 887
每回合训练次数 4 000 2 000
每次训练样本数 4 1
训练结果 甲骨文字符检测准确率 77% 98%
甲骨文字符识别准确率 64% 96%
Table 4  两次模型训练统计数据对比分析
Fig.4  甲骨文拓片检索与识别测试案例
[1] 中国国家博物馆. 中国国家博物馆馆藏文物研究丛书: 甲骨卷[M]. 上海: 上海古籍出版社, 2007: 292-293.
[1] (National Museum of China. Studies of the Collections of the National Museum of China: Oracle [M]. Shanghai: Shanghai Ancient Books Publishing House, 2007: 292-293.)
[2] 中国国家博物馆, 中国书法家协会. 中国国家博物馆典藏甲骨文金文集粹[M]. 合肥: 安徽美术出版社, 2015: 5-8.
[2] (National Museum of China, Chinese Calligraphers Association. A Collection of Oracle and Bronze of National Museum of China[M]. Hefei: Anhui Fine Arts Publishing House, 2015: 5-8.)
[3] “绝学”不绝于耳——从近十年国家社科基金选题看甲骨文研究进展[EB/OL]. [2021-04-09]. https://www.sohu.com/a/424326096_488440.
[3] (Lost Knowledge is Endless——Viewing the Research Progress of Oracle Inscriptions from the Topic Selection of the National Social Science Fund[EB/OL].[2021-04-09]. https://www.sohu.com/a/424326096_488440.)
[4] 2018年国家社会基金特别委托项目成果举要[EB/OL].[2021-04-09]. http://www.nopss.gov.cn/n1/2019/0703/c219507-31211146.html.
[4] (The Results of Special Commissioned Projects of the National Social Fund in 2018 [EB/OL]. [2021-04-09]. http://www.nopss.gov.cn/n1/2019/0703/c219507-31211146.html.)
[5] 熊晶, 韩胜伟. 甲骨文研究中跨模态知识图谱的重要性刍议[J]. 殷都学刊, 2020, 41(3): 60-64,97.
[5] (Xiong Jing, Han Shengwei. On the Importance of Cross-modal Knowledge Graph in Oracle Inscriptions Research[J]. Yindu Academic Journal, 2020, 41(3): 60-64, 97.)
[6] 甲骨文信息处理重点实验室[EB/OL]. [2021-04-09]. http://jgwsys.aynu.edu.cn/index.htm.
[6] (Key Laboratory of Oracle Information Processing[EB/OL].[2021-04-09]. http://jgwsys.aynu.edu.cn/index.htm.)
[7] 甲骨文拓片资料库[EB/OL].[2021-04-09]. https://ndweb.iis.sinica.edu.tw/rub_public/System/Bone/home2.htm.
[7] (Oracle Rubbing Database [EB/OL].[2021-04-09]. https://ndweb.iis.sinica.edu.tw/rub_public/System/Bone/home2.htm.)
[8] Cuneiform Digital Library Initiative[EB/OL]. [2021-04-09]. https://cdli.ucla.edu/.
[9] Database of Neo-Sumerian Texts[EB/OL]. [2021-04-09]. http://bdtns.filol.csic.es/.
[10] Electronic Pennsylvania Sumerian Dictionary[EB/OL]. [2021-04-09]. http://psd.museum.upenn.edu/nepsd-frame.html.
[11] Bogacz B, Gertz M, Mara H. Cuneiform Character Similarity Using Graph Representations [C]//Proceedings of the 20th Computer Vision Winter Workshop. 2015: 77-83.
[12] Dencker T, Klinkisch P, Maul S M, et al. Deep Learning of Cuneiform Sign Detection with Weak Supervision Using Transliteration Alignment[J]. PLoS One, 2020, 15(12): e0243039.
doi: 10.1371/journal.pone.0243039
[13] He K M, Gkioxari G, Dollár P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 386-397.
doi: 10.1109/TPAMI.34
[14] ResNet-50[EB/OL].[2021-07-02]. https://blog.csdn.net/Cheungleilei/article/details/103610799.
[15] Triplet Loss[EB/OL].[2021-07-02]. https://machinelearning.wtf/terms/triplet-loss/.
[16] 郭沫若. 甲骨文合集[M]. 北京: 中华书局, 1982.
[16] (Guo Moruo. Oracle Collection[M]. Beijing: China Book Bureau, 1982.)
[17] 李宗焜. 甲骨文字编[M]. 北京: 中华书局, 2012.
[17] (Li Zongkun. Oracle’s Words Made Up[M]. Beijing: China Book Bureau, 2012.)
[18] 刘钊, 冯克坚. 甲骨文常用字字典[M]. 北京: 中华书局, 2019.
[18] (Liu Zhao, Feng Kejian. Oracle’s Common Word Dictionary[M]. Beijing: China Book Bureau, 2019.)
[19] Gupta A, Vedaldi A, Zisserman A. Synthetic Data for Text Localisation in Natural Images [C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 2315-2324.
[20] 张颐康, 张恒, 刘永革, 等. 基于跨模态深度度量学习的甲骨文字识别[J]. 自动化学报, 2021, 47(4): 791-800.
[20] (Zhang Yikang, Zhang Heng, Liu Yongge, et al. Oracle Character Recognition Based on Cross-Modal Deep Metric Learning[J]. Acta Automatica Sinica, 2021, 47(4): 791-800.)
[21] 刘永革, 刘国英. 基于SVM的甲骨文字识别[J]. 安阳师范学院学报, 2017(2): 54-56.
[21] (Liu Yongge, Liu Guoying. Oracle Bone Inscription Recognition Based on SVM[J]. Journal of Anyang Normal University, 2017(2): 54-56.)
[22] 周新伦, 李锋, 华星城, 等. 甲骨文计算机识别方法研究[J]. 复旦学报(自然科学版), 1996, 35(5): 481-486.
[22] (Zhou Xinlun, Li Feng, Hua Xingcheng, et al. A Method of Jia Gu Wen Recognition Based on a Two-Level Classification[J]. Journal of Fudan University (Natural Science), 1996, 35(5): 481-486.)
[23] 吕肖庆, 李沫楠, 蔡凯伟, 等. 一种基于图形识别的甲骨文分类方法[J]. 北京信息科技大学学报(自然科学版), 2010, 25(S2): 92-96.
[23] (Lv Xiaoqing, Li Monan, Cai Kaiwei, et al. A Graphic-Based Method for Chinese Oracle-Bone Classification[J]. Journal of Beijing Information Science & Technology University, 2010, 25(S2): 92-96.)
[24] 鲁绪正, 蔡恒进, 林莉. 基于Capsule网络的甲骨文构件识别方法[J]. 智能系统学报, 2020, 15(2): 243-254.
[24] (Lu Xuzheng, Cai Hengjin, Lin Li. Recognition of Oracle Radical Based on the Capsule Network[J]. CAAI Transactions on Intelligent Systems, 2020, 15(2): 243-254.)
[25] 邢济慈. 基于深度卷积神经网络的甲骨文字检测技术研究[D]. 郑州: 郑州大学, 2020.
[25] (Xing Jici. Research of Oracle Bone Inscription Detection Based on Deep Convolutional Neural Network[D]. Zhengzhou: Zhengzhou University, 2020.)
[26] 徐贵良. 基于语义分析的深度学习的甲骨文部首检测的研究[D]. 南昌: 江西科技师范大学, 2020.
[26] (Xu Guiliang. Research on Oracle Bone Radical Detection Based in Deep Learning of Semantic Analysis[D]. Nanchang: Jiangxi Science and Technology Normal University, 2020.)
[27] Softmax Regression [EB/OL]. [2021-07-02]. https://www.biaodianfu.com/softmax-regression.html.
[28] Python[EB/OL]. [2021-07-02]. https://www.python.org/.
[29] TensorFlow[EB/OL]. [2021-07-02]. https://www.tensorflow.org/.
[30] Faster R-CNN[EB/OL].[2021-07-02]. https://paperswithcode.com/method/faster-r-cnn.
[31] Kipf T. Graph Convolutional Network[EB/OL]. [2021-07-02]. https://tkipf.github.io/graph-convolutional-networks/.
[32] Using RANSAC for Estimating Geometric Transforms in Computer Vision [EB/OL].[2021-07-02]. https://www.mathworks.com/discovery/ransac.html.
[33] 江一苇, 顾幸生. 基于网格加速与顺序选取策略的图像匹配算法[J]. 华东理工大学学报(自然科学版),DOI: 10.14135/j.cnki.1006-3080.20210401002.
doi: 10.14135/j.cnki.1006-3080.20210401002
[33] (Jiang Yiwei, Gu Xingsheng. Image Matching Algorithm Based on Grid Acceleration and Sequential Selection Strategy[J]. Journal of East China University of Science and Technology, DOI: 10.14135/j.cnki.1006-3080.20210401002.)
doi: 10.14135/j.cnki.1006-3080.20210401002
[1] 高原,王东,冯宏伟,施元磊,段治州. 基于GPS轨迹数据的城市交叉路口识别 *[J]. 数据分析与知识发现, 2019, 3(11): 24-34.
[2] 王小梅,邓启平. 科学结构地图的领域群自动识别研究*[J]. 现代图书情报技术, 2016, 32(4): 48-55.
[3] 李湘东, 霍亚勇, 黄莉. 图书网页的自动识别及书目信息抽取研究[J]. 现代图书情报技术, 2014, 30(4): 71-77.
[4] 谢靖, 苏新宁, 沈思. CSSCI语料中短语结构标注与自动识别[J]. 现代图书情报技术, 2012, (12): 32-38.
[5] 朱丹浩 王东波 谢靖. 基于条件随机场的介宾结构自动识别*[J]. 现代图书情报技术, 2010, 26(7/8): 79-83.
[6] 李睿. Typereader—先进的扫描识别系统[J]. 现代图书情报技术, 1997, 13(4): 43-45.
[7] 万锦堃. SISAC期刊条码结构分析及性能评价[J]. 现代图书情报技术, 1994, 10(6): 29-32.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
版权所有 © 2015 《数据分析与知识发现》编辑部
地址:北京市海淀区中关村北四环西路33号 邮编:100190
电话/传真:(010)82626611-6626,82624938
E-mail:jishu@mail.las.ac.cn