Please wait a minute...
Advanced Search
数据分析与知识发现  2021, Vol. 5 Issue (8): 113-121     https://doi.org/10.11925/infotech.2096-3467.2020.1193
  研究论文 本期目录 | 过刊浏览 | 高级检索 |
海事适任评估中主观题自动评分技术研究*
韩辉(),刘秀文
大连海事大学航海学院 大连 116000
Automatic Scoring for Subjective Questions in Maritime Competency Assessment
Han Hui(),Liu Xiuwen
Navigation College, Dalian Maritime University, Dalian 116000, China
全文: PDF (1054 KB)   HTML ( 7
输出: BibTeX | EndNote (RIS)      
摘要 

【目的】 针对海事领域适任评估中主观题评分工作量大,易受阅卷人主观意向影响导致评分不客观的问题,构建一套针对海事领域的主观题自动评分系统。【方法】 首先,采用依存句法分析加权TextRank算法提取关键词;其次,融合句向量、核心词、句法成分及依存结构判断学生答案和标准答案的相似度;然后,建立海事专用否定词集判断学生答案与标准答案的语义对立关系;最后,给出较为客观的评分。【结果】 通过多组不同主观题进行测试,实验结果表明系统评分与人工阅卷的平均分差为0.21,偏差率为4.20%。【局限】 对较长且结构复杂的语句处理效果不够理想。【结论】 提出的主观题自动评分算法在海事适任评估主观题阅卷中总体效果较好。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
韩辉
刘秀文
关键词 主观题自动评分提取相似度计算对立度判断海事领域    
Abstract

[Objective] This paper builds an automatic scoring system for subjective questions in the maritime competency assessment, aiming to reduce the heavy workload and human factors of subjective question scoring. [Methods] Firstly, we used the weighted TextRank algorithm of dependency syntax analysis to extract keywords. Then, we integrated sentence vectors, core words, syntactic components, and dependent structures to judge the similarity between student answers and the standard ones. Third, we constructed a set of special negative words for maritime affairs to judge the semantic opposition between the student’s answer and the standard answer. Finally, we gave each answer an objective score. [Results] We examined our method with multiple sets of different subjective questions, and found the average score difference between the automatic score and the manual scoring was 0.21, with a deviation rate of 4.20%. [Limitations] More research is needed to improve the processing of long and complex sentences. [Conclusions] The proposed algorithm could effectively evaluate subjective questions in the maritime competency assessment.

Key wordsAutomatic Scoring of Subjective Questions    Extraction    Similarity Calculation    Opposition Judgment    Maritime Field
收稿日期: 2020-11-30      出版日期: 2021-09-15
ZTFLH:  TP391  
基金资助:*工信部(工信部装函)([2018]No.473);中央高校基本科研业务费专项基金项目(3132019312)
通讯作者: 韩辉 ORCID:0000-0002-3053-0614     E-mail: hanh1201@126.com
引用本文:   
韩辉, 刘秀文. 海事适任评估中主观题自动评分技术研究*[J]. 数据分析与知识发现, 2021, 5(8): 113-121.
Han Hui, Liu Xiuwen. Automatic Scoring for Subjective Questions in Maritime Competency Assessment. Data Analysis and Knowledge Discovery, 2021, 5(8): 113-121.
链接本文:  
https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/10.11925/infotech.2096-3467.2020.1193      或      https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/Y2021/V5/I8/113
Fig.1  自动评分算法流程
词性 概率分布
nz 40.67%
v 23.46%
n 20.21%
m 12.20%
b 3.46%
Table 1  关键词词性分布
Fig.2  关键词提取流程
文本切分
结果
说明 对立度判断
A类 标准答案与学生答案均不可切分 直接计算标准答案与学生答案中否定词的数量差
B类 标准答案不可切分,学生答案可切分为多句 计算学生答案所有分句中否定词个数之和与标准答案中否定词的数量差
C类 标准答案可切分为多句,学生答案不可切分 计算学生答案中否定词与标准答案第一分句中否定词的数量差
D类 标准答案与学生答案均可切分为多句 先计算学生答案第一分句中否定词与标准答案第一分句中否定词的数量差,然后计算学生答案和标准答案其余分句否定词个数和的差
Table 2  对立度判断分类
文本切分结果 说明 评分公式
A,B,C类 学生答案与标准答案至少其一不可切分 M = 5 × ( ω × Co n Keywords + ( 1 - ω ) × Si m sen ) × O
D类 学生答案与标准答案第一分句对立,其余分句不对立 M = 2.5 × ( ω × Co n Keywords + ( 1 - ω ) × Si m sen )
学生答案与标准答案第一分句对立,其余分句也对立 M = 0
学生答案与标准答案第一分句不对立,其余分句对立 M = 2.5 × ( ω × Co n Keywords + ( 1 - ω ) × Si m sen )
学生答案与标准答案第一分句不对立,其余分句也不对立 M = 5 × ( ω × Co n Keywords + ( 1 - ω ) × Si m sen )
Table 3  不同情况下评分公式
Fig.3  ω不同取值下系统评分的平均分差
Fig.4  系统与人工评分相似度分布
项目 标准答案 学生答案
答案内容 潮汐主要是由天体引潮力作为原动力,由于其距离的不同形成了潮汐椭圆体,再结合月球公转以及地球自转、公转,其相对位置不断变换,造成了潮汐一天之内有高低潮现象。 潮汐主要是由天体引潮力作为原动力,海水随地球自转的同时,受到了月球和太阳的引力,在日,月引潮力的作用下引起的海面周期性的升降,称为海洋潮汐。
关键词 ‘天体引潮力’,‘高低潮’,‘潮汐椭球体’,‘位置’ ‘天体引潮力’,‘引力’,‘升降’
Table 4  人工评分与系统评分实例分析
[1] 中华人民共和国海事局. STCW公约马尼拉修正案履约指南[M]. 大连: 大连海事大学出版社, 2010.
[1] ( China Maritime Safety Administration. Guidelines for the Implementation of the Manila Amendment to the STCW Convention[M]. Dalian: Dalian Maritime University Press, 2010.)
[2] Page E B. Project Essay Grade: PEG[A]//Shermis M D, Burstein J. Automated Essay Scoring: A Cross-disciplinary Perspective[M]. Lawrence Erlbaum Associates Publishers, 2003: 43-54.
[3] Foltz P W, Streeter L E, Lochbaum K E, et al. Implementation and Applications of the Intelligent Essay Assessor[A]//Shermis M D, Burstein J. Handbook of Automated Essay Evaluation[M]2013:68-88.
[4] Burstein J, Tetreault J, Madnani N. The E-rater Automated Essay Scoring System[A]//Handbook of Automated Essay Evaluation: Current Applications and New Directions[M]. New York: Routledge, 2013: 55-67.
[5] Burrows S, Gurevych I, Stein B. The Eras and Trends of Automatic Short Answer Grading[J]. International Journal of Artificial Intelligence in Education, 2015, 25:60-117.
[6] Chapelle C A, Chung Y R. The Promise of NLP and Speech Processing Technologies in Language Assessment[J]. Language Testing, 2010, 27(3):301-315.
doi: 10.1177/0265532210364405
[7] Vij S, Tayal D, Jain A. A Machine Learning Approach for Automated Evaluation of Short Answers Using Text Similarity Based on WordNet Graphs[J]. Wireless Personal Communications, 2020, 111(2):1271-1282.
doi: 10.1007/s11277-019-06913-x
[8] 高思丹. 基于自然语言理解的主观试题自动批改技术的研究与初步实现[D]. 南京: 南京大学, 2003.
[8] ( Gao Sidan. Research and Preliminary Realization of Subjective Examination Questions Automatic Correction Technology Based on Natural Language Understanding[D]. Nanjing: Nanjing University, 2003.)
[9] 孟爱国, 卜胜贤, 李鹰, 等. 一种网络考试系统中主观题自动评分的算法设计与实现[J]. 计算机与数字工程, 2005, 33(7):147-150.
[9] ( Meng Aiguo, Bu Shengxian, Li Ying, et al. Design and Implementation of an Automated Assessment Algorithm for Subjective Tests in Network Examination System[J]. Computer and Digital Engineering, 2005, 33(7):147-150.)
[10] 李辉阳, 韩忠愿. 有限领域简述文字的自动判读及其在CAI中的应用[J]. 计算机工程与应用, 2002, 38(8):76-78.
[10] ( Li Huiyang, Han Zhongyuan. Auto-Judging to the Simple Description in the Specific Field and Its Application in CAI[J]. Computer Engineering and Applications, 2002, 38(8):76-78.)
[11] 李学俊. 基于人工智能的主观题自动评分算法实现[J]. 江南大学学报(自然科学版), 2009, 8(3):292-295.
[11] ( Li Xuejun. Algorithm Realization of the Subjective Question’s Auto-Marking Based on the Artificial Intelligence[J]. Journal of Jiangnan University (Natural Science Edition), 2009, 8(3):292-295.)
[12] 张胜楠. 基于文本相似度的短文本主观题自动评分方法研究[D]. 武汉: 武汉理工大学, 2017.
[12] ( Zhang Shengnan. Research on Automatic Scoring Method of Short Text Subjective Questions Based on Text Similarity[D]. Wuhan: Wuhan University of Technology, 2017.)
[13] 代钰琴. 智能评卷技术的应用研究[D]. 绵阳: 西南科技大学, 2019.
[13] ( Dai Yuqin. Research on the Application of Intelligent Marking Technology[D]. Mianyang: Southwest University of Science and Technology, 2019.)
[14] Zhang W N, Ming Z Y, Zhang Y, et al. The Use of Dependency Relation Graph to Enhance the Term Weighting in Question Retrieval[C]// Proceedings of COLING 2012: Technical Papers. 2012: 3105-3120.
[15] Mihalcea R, Tarau P. TextRank: Bringing Order into Texts[C]// Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. 2004: 404-411.
[16] 夏天. 词向量聚类加权TextRank的关键词抽取[J]. 数据分析与知识发现, 2017, 1(2):28-34.
[16] ( Xia Tian. Extracting Keywords with Modified TextRank Model[J]. Data Analysis and Knowledge Discovery, 2017, 1(2):28-34.)
[17] Mikolov T, Sutskever L, Chen K, et al. Distributed Representations of Words and Phrases and Their Compositionality[C]// Proceedings of the 26th International Conference on Neural Information Processing Systems. 2013: 3111-3119.
[18] Devlin J, Chang M W, Lee K, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[C]// Proceeding of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2019: 4171-4186.
[19] 麦范金, 王挺. 语义对立度及其计算模型的研究[J]. 中文信息学报, 2008, 22(4):39-42.
[19] ( Mai Fanjin, Wang Ting. A Computational Model of the Contrary Degree Between Two Words[J]. Journal of Chinese Information Processing, 2008, 22(4):39-42.)
[20] 梁晓诚, 岳晓光, 麦范金, 等. 基于自然语言处理的主观题评分算法研究[J]. 昆明理工大学学报(理工版), 2010, 35(2):81-84.
[20] ( Liang Xiaocheng, Yue Xiaoguang, Mai Fanjin, et al. Algorithm Research of Subjective Question Assessment Based on Natural Language Processing[J]. Journal of Kunming University of Science and Technology (Science and Technology Edition), 2010, 35(2):81-84.)
[21] Peng B, Wang J, Zhang X J. Adversarial Learning of Sentiment Word Representations for Sentiment Analysis[J]. Information Sciences, 2020, 541:426-441.
doi: 10.1016/j.ins.2020.06.044
[22] Al-Khalifa H S, Al-Yahya M M, Bahanshal A, et al. SemQ: A Proposed Framework for Representing Semantic Opposition in the Holy Quran Using Semantic Web Technologies[C]// Proceedings of 2009 International Conference on the Current Trends in Information Technology. DOI: 10.1109/CTIT.2009.5423145.
doi: 10.1109/CTIT.2009.5423145
[1] 胡少虎,张颖怡,章成志. 关键词提取研究综述*[J]. 数据分析与知识发现, 2021, 5(3): 45-59.
[2] 吴彦文, 蔡秋亭, 刘智, 邓云泽. 融合多源数据和场景相似度计算的数字资源推荐研究*[J]. 数据分析与知识发现, 2021, 5(11): 114-123.
[3] 郑新曼, 董瑜. 基于科技政策文本的程度词典构建研究*[J]. 数据分析与知识发现, 2021, 5(10): 81-93.
[4] 蔡婧璇,吴江,王诚坤. 基于深度学习的众测报告有用性预测研究*[J]. 数据分析与知识发现, 2020, 4(11): 102-111.
[5] 王毅,沈喆,姚毅凡,成颖. 领域事件图谱构建方法综述*[J]. 数据分析与知识发现, 2020, 4(10): 1-13.
[6] 李纲,周华阳,毛进,陈思菁. 基于机器学习的社交媒体用户分类研究 *[J]. 数据分析与知识发现, 2019, 3(8): 1-9.
[7] 文秀贤,徐健. 基于用户评论的商品特征提取及特征价格研究 *[J]. 数据分析与知识发现, 2019, 3(7): 42-51.
[8] 曾庆田,胡晓慧,李超. 融合主题词嵌入和网络结构分析的主题关键词提取方法 *[J]. 数据分析与知识发现, 2019, 3(7): 52-60.
[9] 关鹏,王曰芬,傅柱. 基于LDA的主题语义演化分析方法研究 * ——以锂离子电池领域为例[J]. 数据分析与知识发现, 2019, 3(7): 61-72.
[10] 严娇,马静,房康. 基于融合共现距离的句法网络下文本语义相似度计算 *[J]. 数据分析与知识发现, 2019, 3(12): 93-100.
[11] 钟庆虹,乔晓东,张运良,翁梦娟. 基于LDA2Vec和残差网络的跨媒体融合方法研究 *[J]. 数据分析与知识发现, 2019, 3(10): 78-88.
[12] 杨贵军,徐雪,赵富强. 基于XGBoost算法的用户评分预测模型及应用*[J]. 数据分析与知识发现, 2019, 3(1): 118-126.
[13] 刘竹辰, 陈浩, 于艳华, 李劼. 词位置分布加权TextRank的关键词提取*[J]. 数据分析与知识发现, 2018, 2(9): 74-79.
[14] 孙海霞, 王蕾, 吴英杰, 华薇娜, 李军莲. 科技文献数据库中机构名称匹配策略研究*[J]. 数据分析与知识发现, 2018, 2(8): 88-97.
[15] 黄孝喜, 李晗雨, 王荣波, 王小华, 谌志群. 基于卷积神经网络与SVM分类器的隐喻识别*[J]. 数据分析与知识发现, 2018, 2(10): 77-83.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
版权所有 © 2015 《数据分析与知识发现》编辑部
地址:北京市海淀区中关村北四环西路33号 邮编:100190
电话/传真:(010)82626611-6626,82624938
E-mail:jishu@mail.las.ac.cn