ChatGPT中文性能测评与风险应对*

张华平,李林翰,李春锦

ChatGPT Performance Evaluation on Chinese Language and Risk Measures

Zhang Huaping,Li Linhan,Li Chunjin

表6 机器阅读理解任务的输入输出示例

Table 6 An Input/Output Example of MRC Task

CMRC2018 DRCD Prompt 阅读文章：{Context}\n问：{Question}\n答： Context 《战国无双3》（）是由光荣和ω-force开发的战国无双系列的正统第三续作。本作以三大故事为主轴…… Question 《战国无双3》是由哪两个公司合作开发的? 标注 光荣和ω-force ChatGPT输出 《战国无双3》是由光荣和ω-force合作开发的。 C3 Prompt 阅读文章：{Context}\n问：{Question}\n以下选项中正确的答案是：\n{Choices} Context 梅兰芳是中国著名的京剧演员。有一次，在他表演的时候…… Question 梅兰芳是一个什么样的人? Choices 他是一位年纪大的老人\n他是喜欢看京剧的人\n他是一个很虚心的人\n他是一个没礼貌的人\n 标注 他是一个很虚心的人 ChatGPT输出 梅兰芳是一个很虚心的人。