一次普通的專科就診,卻因為人工智慧的一次「胡說八道」,讓一名澳大利亞患者陷入巨大的焦慮。
據澳大利亞廣播公司(ABC)報道,患者Rebecca Green在接受泌尿科治療時,同意醫生使用AI醫療記錄工具,將醫患對話自動轉錄並整理成病歷。她當時沒有多想,卻沒想到AI後來竟在醫療文件中寫下一個完全不存在的事實——稱她曾「小劑量服用迷幻蘑菇」,甚至把這一虛假信息與她此前的腎臟出血聯繫起來。
Green表示,自己一生從未服用過迷幻蘑菇。看到病歷的一刻,她既震驚又委屈,當場落淚。
更讓她害怕的是,這並不僅僅是一句寫錯的話,而是一條進入正式醫療記錄的「吸毒史」。
手術後才發現,病歷里多了一段不存在的經歷
事情發生在Green第一次前往泌尿科就診時。
醫生詢問她是否同意使用AI scribe(AI醫療記錄助手)記錄這次問診。此類工具可以「聽取」醫生與患者之間的談話,再自動生成診療筆記、轉診信或醫療摘要,希望減少醫生花在電腦和文書工作上的時間。
Green當時很快答應了。她後來告訴ABC,自己不想成為那個「麻煩的病人」,更不希望因此佔用醫生更多時間。
直到今年3月接受腎結石手術後,她查看專科醫生髮給家庭醫生(GP)的術後信件,才發現其中竟寫著她曾微量服用迷幻蘑菇,並暗示這可能與此前腎臟周圍出血有關。
問題是——這件事根本沒有發生過。
Green說,這種沒有任何事實依據的內容出現在正式醫療文件中,讓她感到非常害怕。尤其當時她正在領取工傷賠償,她擔心病歷中涉及非法藥物的錯誤記錄,可能進一步影響自己的工傷索賠。
醫生道歉,但無法解釋錯誤從哪裡來
Green隨後提出投訴。
涉事泌尿科醫生向她發信道歉,並更正了相關醫療文件。醫生表示,非常重視醫療記錄的準確性,但無法確定「迷幻蘑菇」這一說法究竟如何進入文件,只能判斷可能是在「口述或轉錄過程」中產生了錯誤,並表示將重新審視診所使用AI的方式。
然而,這起事件最值得警惕的地方恰恰在這裡——AI生成的內容看起來可能非常專業、非常合理,卻不一定真實。
在人工智慧領域,這類現象通常被稱為「幻覺」(hallucination):AI不是簡單地把某個字聽錯,而可能生成原本不存在的信息。
而一旦這種錯誤進入醫療系統,後果可能遠比普通文字錯誤嚴重。
澳大利亞醫療從業者監管機構AHPRA明確表示,醫生必須檢查AI醫療記錄工具生成的全部內容,確認其準確性,才能履行專業責任。
更嚴重的錯誤已經出現:連癌症發生在哪一側都能搞錯
Green的遭遇並非孤例。
消費者權益組織Digital Rights Watch近期調查發現,AI醫療記錄工具已經出現過一些令人擔憂的錯誤。例如,有系統把乳腺癌發生的身體一側記錄反了,還有AI在患者實際上沒有癲癇的情況下,生成了患有癲癇的記錄。
澳大利亞消費者健康論壇(Consumers Health Forum of Australia)負責人Elizabeth Deveny表示,他們經常收到有關AI混淆信息的投訴,而不少患者都是偶然才發現自己的醫療記錄出了問題。
她還指出一個值得警惕的現象:醫生剛開始使用AI時,往往會仔細檢查生成內容;但使用一段時間、逐漸建立信任後,一些人可能不再逐項核對。
而這恰恰可能是風險開始增加的時候。
AI醫療記錄工具在澳洲醫療系統中的使用已經相當普遍。澳大利亞皇家全科醫師學院(RACGP)去年估計,大約40%的GP經常使用此類工具,而且這一數字還被認為相對保守。
支持者認為,AI可以把醫生從繁重的文書工作中解放出來,讓他們在問診時少盯電腦、多看患者。珀斯GP Sean Stevens表示,與三年前相比,現在AI轉錄的準確性已經明顯提高。
但他同時強調,醫生仍然必須檢查記錄,尤其是身體左右側、藥物劑量等關鍵醫療信息,因為AI完全可能生成「聽起來很合理」的錯誤。
澳洲約有十餘種AI醫療記錄工具,卻存在監管空檔
更值得關注的是監管問題。
ABC報道,目前澳大利亞市場上約有十餘種AI醫療記錄工具,但沒有一種經過澳大利亞治療用品管理局(TGA)的醫療器械審批程序。
原因在於,如果產品聲稱自己的功能只是「轉錄和總結」,通常可以豁免相關監管;只有涉及診斷建議或治療方案等功能時,才可能被視為醫療器械。
然而,TGA已經注意到,部分AI記錄工具可能實際上提供了臨床建議,因此存在違反相關規定的可能。TGA過去一年一直在審查這一領域,並表示將公布調查結果,對發現的違規行為採取行動。
Digital Rights Watch則呼籲,應由澳大利亞新成立的AI Safety Institute對醫療AI記錄工具進行測試,並公布經過審核的產品名單。
醫生問「可以用AI記錄嗎?」 患者其實可以說「不」
這起事件還帶出了另一個容易被忽略的問題——患者是否真正擁有選擇權。
調查發現,不同醫療機構徵求患者同意的方式差別很大。有些診所只在候診室放一塊告示,有些要求患者預約時在線勾選同意,甚至出現患者不同意使用AI就無法預約的情況。
消費者健康論壇建議,下次醫生表示要使用AI記錄問診時,患者可以主動問清楚幾個問題:AI具體用來做什麼?醫生是否會在內容進入病歷前親自檢查?患者能否獲得記錄副本?如果發現錯誤,又該通過什麼程序修改?
經歷這場風波後,Green對AI的態度也發生了變化。她並不排斥人工智慧,但表示以後只有在與醫生已經建立信任關係的情況下,才可能再次同意使用AI記錄。
她認為,這次事件暴露出的真正問題,並不僅僅是AI會犯錯,而是醫療過程中缺少了最重要的那一道人工把關。
人工智慧可以幫助醫生記筆記、整理病歷,甚至減輕越來越沉重的行政負擔,但醫療記錄最終關係到的,是一個真實患者的診斷、治療、保險甚至工作與生活。
當AI開始坐進診室,「效率」顯然不能成為唯一標準。
機器可以幫醫生記錄,但最後確認這份病歷是否屬於眼前這個人,仍然必須由人來完成。
(資料來源:ABC News)