一次普通的专科就诊,却因为人工智能的一次“胡说八道”,让一名澳大利亚患者陷入巨大的焦虑。
据澳大利亚广播公司(ABC)报道,患者Rebecca Green在接受泌尿科治疗时,同意医生使用AI医疗记录工具,将医患对话自动转录并整理成病历。她当时没有多想,却没想到AI后来竟在医疗文件中写下一个完全不存在的事实——称她曾“小剂量服用迷幻蘑菇”,甚至把这一虚假信息与她此前的肾脏出血联系起来。
Green表示,自己一生从未服用过迷幻蘑菇。看到病历的一刻,她既震惊又委屈,当场落泪。
更让她害怕的是,这并不仅仅是一句写错的话,而是一条进入正式医疗记录的“吸毒史”。
手术后才发现,病历里多了一段不存在的经历
事情发生在Green第一次前往泌尿科就诊时。
医生询问她是否同意使用AI scribe(AI医疗记录助手)记录这次问诊。此类工具可以“听取”医生与患者之间的谈话,再自动生成诊疗笔记、转诊信或医疗摘要,希望减少医生花在电脑和文书工作上的时间。
Green当时很快答应了。她后来告诉ABC,自己不想成为那个“麻烦的病人”,更不希望因此占用医生更多时间。
直到今年3月接受肾结石手术后,她查看专科医生发给家庭医生(GP)的术后信件,才发现其中竟写着她曾微量服用迷幻蘑菇,并暗示这可能与此前肾脏周围出血有关。
问题是——这件事根本没有发生过。
Green说,这种没有任何事实依据的内容出现在正式医疗文件中,让她感到非常害怕。尤其当时她正在领取工伤赔偿,她担心病历中涉及非法药物的错误记录,可能进一步影响自己的工伤索赔。
医生道歉,但无法解释错误从哪里来
Green随后提出投诉。
涉事泌尿科医生向她发信道歉,并更正了相关医疗文件。医生表示,非常重视医疗记录的准确性,但无法确定“迷幻蘑菇”这一说法究竟如何进入文件,只能判断可能是在“口述或转录过程”中产生了错误,并表示将重新审视诊所使用AI的方式。
然而,这起事件最值得警惕的地方恰恰在这里——AI生成的内容看起来可能非常专业、非常合理,却不一定真实。
在人工智能领域,这类现象通常被称为“幻觉”(hallucination):AI不是简单地把某个字听错,而可能生成原本不存在的信息。
而一旦这种错误进入医疗系统,后果可能远比普通文字错误严重。
澳大利亚医疗从业者监管机构AHPRA明确表示,医生必须检查AI医疗记录工具生成的全部内容,确认其准确性,才能履行专业责任。
更严重的错误已经出现:连癌症发生在哪一侧都能搞错
Green的遭遇并非孤例。
消费者权益组织Digital Rights Watch近期调查发现,AI医疗记录工具已经出现过一些令人担忧的错误。例如,有系统把乳腺癌发生的身体一侧记录反了,还有AI在患者实际上没有癫痫的情况下,生成了患有癫痫的记录。
澳大利亚消费者健康论坛(Consumers Health Forum of Australia)负责人Elizabeth Deveny表示,他们经常收到有关AI混淆信息的投诉,而不少患者都是偶然才发现自己的医疗记录出了问题。
她还指出一个值得警惕的现象:医生刚开始使用AI时,往往会仔细检查生成内容;但使用一段时间、逐渐建立信任后,一些人可能不再逐项核对。
而这恰恰可能是风险开始增加的时候。
AI医疗记录工具在澳洲医疗系统中的使用已经相当普遍。澳大利亚皇家全科医师学院(RACGP)去年估计,大约40%的GP经常使用此类工具,而且这一数字还被认为相对保守。
支持者认为,AI可以把医生从繁重的文书工作中解放出来,让他们在问诊时少盯电脑、多看患者。珀斯GP Sean Stevens表示,与三年前相比,现在AI转录的准确性已经明显提高。
但他同时强调,医生仍然必须检查记录,尤其是身体左右侧、药物剂量等关键医疗信息,因为AI完全可能生成“听起来很合理”的错误。
澳洲约有十余种AI医疗记录工具,却存在监管空档
更值得关注的是监管问题。
ABC报道,目前澳大利亚市场上约有十余种AI医疗记录工具,但没有一种经过澳大利亚治疗用品管理局(TGA)的医疗器械审批程序。
原因在于,如果产品声称自己的功能只是“转录和总结”,通常可以豁免相关监管;只有涉及诊断建议或治疗方案等功能时,才可能被视为医疗器械。
然而,TGA已经注意到,部分AI记录工具可能实际上提供了临床建议,因此存在违反相关规定的可能。TGA过去一年一直在审查这一领域,并表示将公布调查结果,对发现的违规行为采取行动。
Digital Rights Watch则呼吁,应由澳大利亚新成立的AI Safety Institute对医疗AI记录工具进行测试,并公布经过审核的产品名单。
医生问“可以用AI记录吗?” 患者其实可以说“不”
这起事件还带出了另一个容易被忽略的问题——患者是否真正拥有选择权。
调查发现,不同医疗机构征求患者同意的方式差别很大。有些诊所只在候诊室放一块告示,有些要求患者预约时在线勾选同意,甚至出现患者不同意使用AI就无法预约的情况。
消费者健康论坛建议,下次医生表示要使用AI记录问诊时,患者可以主动问清楚几个问题:AI具体用来做什么?医生是否会在内容进入病历前亲自检查?患者能否获得记录副本?如果发现错误,又该通过什么程序修改?
经历这场风波后,Green对AI的态度也发生了变化。她并不排斥人工智能,但表示以后只有在与医生已经建立信任关系的情况下,才可能再次同意使用AI记录。
她认为,这次事件暴露出的真正问题,并不仅仅是AI会犯错,而是医疗过程中缺少了最重要的那一道人工把关。
人工智能可以帮助医生记笔记、整理病历,甚至减轻越来越沉重的行政负担,但医疗记录最终关系到的,是一个真实患者的诊断、治疗、保险甚至工作与生活。
当AI开始坐进诊室,“效率”显然不能成为唯一标准。
机器可以帮医生记录,但最后确认这份病历是否属于眼前这个人,仍然必须由人来完成。
(资料来源:ABC News)