互联网时代，大多数人在就医之前都会提前在网上搜索并研究自己的症状，搜索引擎在就医决策过程中发挥着重要作用。未来大语言模型聊天机器人集成到搜索引擎之后，可能会增加用户对聊天机器人所给出的答案的信心。但是，大语言模型已经证明在被提问医学问题时可能提供极其危险的信息。

近日，发表在《自然医学》（Nature Medicine）上的一篇文章指出：大语言模型是一种具有非凡会话技能的神经网络语言模型，能够在交互式对话中给出类似人类的反馈。然而，它们所给出的陈述经常被验证是错误的或是不适用的。目前还没有好的办法来确定人工智能聊天机器人所给出的反馈中临床信息或诊断建议的质量高低，以及是否有充足的支撑证据。文章作者认为：“在为患者提供医疗建议方面，这些聊天机器人是不安全的工具，有必要开发新的框架来确保患者的安全。”

大语言模型的基本方法缺少医学“基本事实”的模型，这本质上是危险的。作者描述了大语言模型在当前框架下应用的有限场景，描述了开发人员如何开发出可被批准为医疗设备的基于大语言模型的工具，并探索了如何开发能够保护患者安全的新框架。

目前的大语言模型聊天机器人不符合医疗保健中人工智能的关键原则，如偏见控制、可解释性、监督系统、可验证和透明度。为了在医疗器械中赢得一席之地，聊天机器人的设计必须要更准确，因此安全性和临床疗效必须得到监管机构的验证和批准。

（编译自：https://www.sciencedaily.com/releases/2023/07/230703133029.htm）

（本刊讯）