【目的】为解决通过微调大语言模型来构建垂直领域问答系统时,可能引发的灾难性遗忘、生成内容可解释性差、对数据与算力资源需求过大等问题,提出融合大语言模型与知识图谱的问答系统范式。【方法】围绕《伤寒论》构建中医古籍细粒度知识图谱,并运用检索增强生成模型,将该知识图谱以提示学习的方式融入大语言模型来构建问答系统。【结果】与基线模型和经过专业数据微调的模型相比,在主观评估中该问答系统满意率的总体均值分别高出14.67和1.33个百分点,在客观评估中该问答系统的总体正确率分别高出20.00个百分点和略低2.00个百分点。【局限】仅实现了在《伤寒论》相关中医领域的应用;在系统效果的验证上还缺少评估系统专业能力的标准。【结论】本方法不仅能增强垂直领域问答系统生成内容的可解释性,还节省了大量数据与算力资源。
【目的】针对已有文献对谣言语言风格特征和部分真实的双面健康信息关注不足的问题,提出一种融合语言风格特征的多模态在线健康谣言检测模型(MWDLS)。【方法】MWDLS利用亚里士多德修辞理论来提取诉诸情感、诉诸逻辑和诉诸人格的说服性语言风格特征,并结合双向跨模态交互融合策略和门控机制来实现浅层语言风格特征和深层语义特征的联合表征学习与分类预测。【结果】实验结果表明,MWDLS在目标任务上的平均F1值较基线模型最高提升了11.98个百分点,特别是在健康谣言类别和双面健康信息类别上,F1值分别最高提升了16.63个百分点和11.71个百分点。【局限】当前模型尚未考虑视频、语音等多模态特征,也未引入大语言模型、知识感知等技术以提升对健康谣言的早期检测能力。【结论】MWDLS融合语言风格特征与多模态深层语义特征,有效提升了在线健康谣言的检测性能。
【目的】研究现有大语言模型抽取中文医学文本实体关系的性能差异,分析示例数量和关系类型数量对模型抽取效果的影响。【方法】基于提示工程方法,通过API调用9种主流大语言模型,从示例数量和关系类型数量两个角度修改提示模板,使用CMeIE-V2数据集进行实验并比较抽取效果。【结果】(1)GLM-4-0520的综合抽取能力居于首位,在抽取“临床表现”“药物治疗”“病因”三种关系类型时F1值分别达到0.442 2、0.386 9、0.387 4;(2)改变提示中的示例数量m,起初F1值随m的增加而上升,当m=8时达到最大值0.474 2,m>8后F1值开始下降;(3)增加需要抽取的关系类型数量n后,F1值下降明显,n=2时F1值较n=1时下降0.118 2,至n=10时F1值仅有0.294 9。【局限】现有公开数据集较少,实验结果仅基于单个数据集得到;由于目前医学垂直领域的大语言模型难以通过API调用,本文使用的模型均来自通用领域。【结论】不同大模型的抽取效果差别较大;合适数量的示例能够提高模型抽取效果,但示例并非越多越好;大模型不擅长同时抽取多种关系类型。
【目的】为提高政务信息资源的利用效率及推动政府服务智能化转型,本文针对通用大语言模型在处理政策文本时存在的知识局限,探索融合大语言模型的政策文本检索增强生成技术的有效性,旨在构建更精准、可靠的智能政策问答模型。【方法】基于政策大模型ChpoGPT,提出一种政策文本检索增强生成框架Policy-RAG,将政策文档知识库与用户提问进行语义相似度匹配检索,并将检索结果与ChpoGPT相结合以增强模型下游任务能力。【结果】该框架在事实一致性、答案相关性和语义相似性等指标上均优于现有模型,其中ChpoGPT模型在事实一致性得分达到近90%;答案相关性得分达到80.2%,较Gemini-1.0-pro模型提高2.1个百分点;答案语义相似性得分达到56.4%,相较于ERNIE 4.0模型和Gemini-1.0-pro模型分别提升4.1和2.8个百分点。【局限】通过分析相应实验结果,发现语言模型在回答输出上仍存在一定不可控性。【结论】融合大语言模型的政策文本检索增强生成在政府服务智能化转型中具有一定的应用参考价值,但仍需要进一步改进和优化。
【目的】探索普适的生成式AI有效提示词策略,提升用户的交互技能并优化使用体验。【方法】采用Q方法,邀请用户根据其在通用场景下对跨任务和跨模型的生成式AI使用经验,对不同提示词策略的有效性进行排序,从而识别出具有普适性的有效提示词策略类型。【结果】研究发现,最有效的提示词策略包括明确问题、明确目标和提供背景信息。普适性有效提示词策略可分为三类:明确需求与精确指引型、清晰解释与逻辑排序型、拆解任务与多样化表达型。【局限】数据仅来源于中国用户;侧重于整体情境分析,未探讨提示词策略在具体场景、任务类型和模型条件下的差异性。【结论】本研究从用户视角出发,通过Q方法识别有效的提示词策略,弥补现有提示词工程中缺乏系统量化的不足。研究发现的提示词策略为提示词设计理论提供了结构化框架参考,为优化人机协作效率,提升AI用户交互素养提供了策略性启示。
【目的】在运用图文信息进行摘要生成的过程中,针对图文信息不完全与参考摘要相关、直接融合导致噪声引入的问题,提出一种大模型主旨增强的图文多模态句子摘要生成方法。【方法】对大语言模型进行微调,生成高质量的主旨和关键词信息,同时运用注意力机制有效融合主旨和图片信息,减少多模态特征内存在的噪声;将原文本和关键词进行融合,获得增强主旨信息的多模态语义补充特征,最后融合两种特征生成多模态摘要。【结果】在公开数据集MMSS上与对比模型中效果最优的Vision-GPLM相比,本文方法在ROUGE-1、ROUGE-2、ROUGE-L指标上分别提升了2.79、2.20和2.28个百分点。【局限】大语言模型微调的提示模板在设计上较为单一;未对大参数量版本的大语言模型进行微调尝试;在方法设计上,大语言模型的微调效果会对模型性能产生一定程度的影响。【结论】本文通过微调大语言模型的方法减少多模态特征内存在的噪声,使不同模态在融合的同时增强模型对于主旨内容的把握,提升摘要的质量。
【目的】构建具有可解释性的高质量疾病预测模型,通过识别影响疾病形成的关键诱因,并进一步分析诱因对于疾病的作用方式,从而为辅助诊断和精准医疗提供有力支持。【方法】首先,利用随机森林模型在疾病数据的多维特征中筛选出最具代表性的特征子集;其次,通过构建增强型麻雀搜索算法实现支持向量机核参数与惩罚系数的自适应获取;然后,同步应用优化后的支持向量机模型对数据样本进行预测分析,并将该模型与8种基线模型展开对比;最后,借助SHAP解释框架对疾病诱因与疾病形成的作用关系进行量化分析。【结果】以肥胖症为研究对象开展实证研究,所提模型的预测准确率、特异度与马修斯相关系数值分别达到85.5%、83.6%和61.0%,三种指标值均高于其他8组基线模型,证明了该模型的有效性。此外,家族史、蔬菜摄入频率、每日正餐数量、身高、性别、交通工具使用情况与高热量食物摄入情况是影响肥胖症形成的关键因素。【局限】针对肥胖症展开的实证研究无法有效验证模型的泛化性;未对特征变量之间的交互作用进行分析。【结论】本文模型不仅具有较高的预测准确率,还能够分析不同诱因对疾病形成的影响程度和作用方向,所得结论可为医疗机构提供决策支持。
【目的】现有的文献作者消歧研究缺乏对中英文联合作者消歧的关注,其中一个重要原因是缺乏专业可靠的数据集。本文聚焦该问题的研究,提出一种利用互联网开放资源自动构建作者消歧数据集的方法。【方法】利用该方法为中英文联合作者消歧研究构建了一个大型有标签数据集CHEN-AND;基于该数据集,本文构建并评测了多个基础的中英文联合作者消歧方法。【结果】评测结果显示,表现较好的消歧方法的P-F1和B3-F1分别为79.86%和84.25%,明显低于主流的英文作者消歧方法的准确率。【局限】CHEN-AND的一个局限性是较为关注理工科领域的研究人员,这与作者的真实学科分布存在一定差异,原因是构建数据集使用的中文数据库CSCD是一个面向理工科领域的引文数据库。【结论】本文公开了CHEN-AND数据集和消歧方法评估结果,以便后续研究探索更加高效的跨语言作者消歧方法和构建高质量的学术信息交流平台。
【目的】针对无法有效识别中文文本中存在的不包含明显恶意词汇的仇恨言论问题,提出一种融合多维情感特征的中文仇恨言论检测方法(RMSF)。【方法】首先,使用RoBERTa提取输入文本的字符及句子级特征,并使用情感词典等工具提取文本的多维度情感特征;其次,将字符特征及情感特征进行拼接后输入BiLSTM网络,学习更深层次的上下文语义信息;最后,将BiLSTM的输出和RoBERTa提取的句子特征拼接,输入MLP层进行处理,并应用Softmax函数进行类别预测。为了解决数据类别不平衡问题,采用焦点损失函数优化模型,从而提升判别输入文本是否为仇恨言论的准确率。【结果】在TOXICN数据集上,RMSF方法的精确率、召回率和F1值分别为82.63%、82.41%和82.45%;在COLDataset数据集上,RMSF方法的精确率、召回率和F1值分别为82.94%、82.96%和82.85%。与现有方法相比,F1值分别提高至少1.85和1.09个百分点。【局限】融合多维情感特征的仇恨言论检测方法依赖情感词典等工具,情感特征的提取受到词典内容的制约。【结论】在中文仇恨言论检测模型中融合多维度情感特征能够有效提高检测的效果。
【目的】面向科技论文中创新内容的自动获取需求,聚焦创新句在论文文本中的识别任务,本文提出一种基于富集区发现的创新句识别方法。【方法】通过两个阶段识别科技论文中的创新句:首先构建创新句富集区特征词表,采用滑动窗口打分的方式定位创新句富集区,以缩小创新句的识别范围;而后设计融合上下文语境信息的Context-BERT模型,实现富集区中创新句的自动识别。【结果】本文方法在测试集上的F1值为87.27%,能够有效且较为准确地识别出科技论文中的创新句。【局限】数据集来源较为单一且局限于自然语言处理领域。【结论】本文充分利用创新句的分布特点与上下文特征,提出了一套有效的创新句识别方法,构建创新句自动识别引擎,初步实现了所提方法的实际应用。
【目的】针对人工智能技术应用广泛复杂的现状,对相关专利中的应用领域信息进行识别。【方法】在度量学习的框架下,使用基于BERT的双编码器分别对专利文本与应用领域标注文本进行编码并联合优化,获取能表征人工智能专利应用领域的编码结果以完成识别任务。【结果】在人工智能专利应用领域多分类测试中准确度达到0.947,在人工智能专利应用识别中获得轮廓系数为0.36的多层级聚类体系。【局限】高质量的标注数据不易获得,同时使用的度量学习框架与编码器较为简易,存在较大优化空间。【结论】度量学习能够用于有针对性地识别人工智能专利的应用领域,并可启发无监督主题识别的优化。
【目的】为解决实体抽取过程中存在实体边界属性模糊、语料数据稀疏等问题,本文提出融合边界特征和注意力序列结构的实体识别模型ER-BFAS,实现技艺实体标签的识别预测。【方法】将实体边界属性特征融入文本标签联合嵌入层,通过注意力机制生成特征向量。同时,利用双向长短期记忆网络捕捉技艺类实体标签关联信息,增强模型对不同标签的识别能力。最后,通过条件随机场预测技艺实体标签,选择条件概率最大的标签作为预测结果。【结果】与其他序列标注模型相比,ER-BFAS模型在传统技艺数据集上的F1分数达到0.85,不同标签精确率超过0.90。在DGRE数据集上精确率达到0.75,进一步验证了模型的泛化能力。【局限】实验数据类型有限,未处理复杂实体关系。【结论】在处理传统技艺和通用数据集时,ER-BFAS模型能有效识别出实体边界信息,显著提高传统技艺领域的实体识别能力。
【目的】针对跨社交网络中同一自然人身份难以识别的问题,提出基于对偶映射学习的跨网络身份关联算法eDual-ViewUIL。【方法】eDual-ViewUIL是一种结合图嵌入和深度学习的身份关联算法,先通过网络扩展扩充潜在用户关系,然后使用DeepWalk算法学习用户节点的低维表示,并引入对偶映射学习的思想,同时利用排序敏感似然损失函数训练映射函数,进而进行跨网络用户身份关联。【结果】在三个数据集上进行实验验证,所提算法对比其他三个基线算法精确率均提升6个百分点以上。【局限】由于社交网络用户量巨大,整体计算量相对较大,算法运算效率还有待提升。【结论】eDual-ViewUIL算法在标签数据不足和正负样本不平衡的情况下表现出较强的泛化能力,对于解决跨网络身份关联问题具有重要的现实意义和应用价值。
【目的】面向国家人口健康科学数据中心数据集中存储、数据安全风险、计算资源有限、用户分析利用需求迫切等特点,研究适合国家人口健康科学数据中心数据飞地的建设思路,为用户提供更高效、安全和灵活的数据处理与分析环境。【方法】归纳数据飞地的类型、特点、实现机制和不同场景的适用性,结合国家人口健康科学数据中心数据应用特点,基于融合安全增强、微隔离和人工智能等技术的虚拟数据飞地方式,构建国家人口健康科学数据中心大数据分析平台。【结果】构建的大数据分析平台支持国家人口健康科学数据中心数据审核、数据加工、数据分析挖掘、用户发表论文关联数据同行评议等服务,累计完成2 800余个项目3.2万个数据集的审核任务、10 000余项数据分析任务和5 000余项数据加工任务,数据泄露事件发生率为0,资源利用率达80%。【局限】无法实现跨机构分散存储的数据共享,还需结合数据中心发展探索基于多方安全计算和联邦学习等隐私保护技术的数据飞地研究。【结论】有效解决人口健康数据集中方式的安全共享与协作分析需求,对国家人口健康科学数据的安全保障和共享利用具有重要意义。