官方网站-首页

【导语】以往人们常被告诫勿在网上乱搜医疗建议，因信息不可靠。如今AI时代，网上寻医问药又添新风险——莫让AI提供医疗建议。此前《内科医学年鉴·临床病例》报道，有人因听信AI用溴代替氯，导致溴中毒。此病例虽奇葩，却反映出“聊天机器人精神病”等更广泛现象，引发对AI医疗建议风险的关注。

以前大家经常说“不要在网上乱搜医疗建议”，因为网上信息不那么可靠，患者又不可能准确描述自己所有的症状成了而大语言模型 AI 时代，又出现了一种新风险，网上寻医问药禁忌中，恐怕必须再加上一条“不要随便让 AI 提供医疗建议”了。

图片截自论文页面

不久前《内科医学年鉴·临床病例》（Annals of Internal Medicine: Clinical Cases）就报道了一起神奇的病例——有人因为听信 AI，把自己吃成了多年未见的溴中毒。

AI 真敢建议，患者真敢实践

这个病例，只能说从头到脚都写着奇葩二字。

这人一开始去急诊室，是说他邻居在给他下毒，当时没有说自己在吃任何药物。住院之后才得知，他平日有好多食物都不吃，水也是自己在家蒸馏了才喝，在医院虽然一直说口渴但又不信任别人给他的水。住院 24 小时后，他的偏执狂症状越来越严重，出现了幻听幻视，还试图从医院逃跑，结果被强制收押并打了抗精神病药。

等到药物生效，患者冷静下来之后，医生才算问出来真实情况。原来，这位患者特别特别害怕吃到对身体有害的食物，这也不吃那也不吃，已经把自己饿到了多种维生素欠缺的地步了。而就在这时，他又在网上看到了关于食盐的文章，得知食盐对身体很不好。

就在研究食盐危害的过程中，他灵机一动，发现了一个巨大的“华点”：食盐的化学成分是氯化钠，但为什么文献都在关注钠对身体的伤害，没人关注氯呢？超(chāo)市(shì)只(zhǐ)能(néng)买(mǎi)到(dào)低(dī)钠(nà)盐(yán)，为(wèi)什(shén)么(me)买(mǎi)不(bù)到(dào)低(dī)氯(lǜ)盐(yán)呢(ne)？难(nán)道(dào)这(zhè)个(gè)氯(lǜ)，对(duì)身(shēn)体(tǐ)竟(jìng)然(rán)没(méi)有(yǒu)一(yī)点(diǎn)害(hài)处(chù)吗(ma)？能(néng)不(bù)能(néng)不(bù)摄(shè)入(rù)氯(lǜ)呢(ne)？

图(tú)库(kù)版(bǎn)权(quán)图(tú)片(piàn)，不授权转载

既然网上没人说，那就得靠自己了，患者询问了 ChatGPT，结果 AI 给出了“非常具有可操作性”的建议：用溴来代替氯。

这位患者真的这么干了，然而这并不是个好主意。

看似六七八分像，其实完全不一样

溴，元素符号 Br，在周期表上位于氯的正下方，是个普通人不太容易接触到的元(yuán)素(sù)。大(dà)概(gài)一(yī)百(bǎi)年(nián)前(qián)，溴(xiù)中(zhōng)毒(dú)还(hái)算(suàn)是(shì)医(yī)生(shēng)经(jīng)常(cháng)能(néng)遇到的事情，因为当时溴被认为拥有镇静效果，很多非处方药物里含有溴盐，什么治失眠、治焦虑、治歇斯底里，都能用到。当然，要是一不小心吃多了，那就从治焦虑一跃而成致焦虑，引发运动失调和各种幻觉，严重的可以导致昏迷，顺便还(hái)附(fù)送(sòng)厌(yàn)食(shí)和(hé)便(biàn)秘(mì)之(zhī)类(lèi)的(de)症(zhèng)状(zhuàng)。

为(wèi)什(shén)么(me)会(huì)这(zhè)样(yàng)呢(ne)？溴和氯都是卤族元素，最外层都是 7 个电子，化学性质很相似，在简单的化学反应里确实可以相互(hù)代(dài)替(tì)。人(rén)体(tǐ)摄(shè)入(rù)溴(xiù)离(lí)子(zi)后(hòu)，它(tā)也(yě)会(huì)“冒(mào)充(chōng)”氯(lǜ)离(lí)子(zi)去(qù)参(cān)与(yǔ)各(gè)种(zhǒng)生(shēng)化(huà)反(fǎn)应(yīng)。

但(dàn)是(shì)一(yī)旦(dàn)反(fǎn)应(yīng)真(zhēn)的(de)开(kāi)始(shǐ)，它(tā)就(jiù)露(lù)馅(xiàn)了(le)：生(shēng)化反应非常精密，哪一步速度稍微跟不上，活性稍微差一点，就会导致大范围脱节。神经系统的正常运行相当依赖于氯离子，所以如果被溴离子冒名顶替，遭到的破坏也尤其严重。

人体可以排出体内的溴离子，但速度算不上很快，大概 9 到 12 天才能排出一半。所以如果持续摄入含溴的食物或者药物，溴可以逐渐积累，造成更大伤害。历史上，溴中毒一度占到了精神病院住院人数的 8%。后来大家都知道了溴的危险性，药物纷纷弃用它，溴中毒也就难得一见了。

没想到如今因为 AI 的建议，溴中毒又迎来了难得的“文艺复兴”。可喜可贺，还好，这位病人在住院三个星期之后，中毒症状逐渐缓解而顺利出院了，两周后的复查也没有问题。希望他能就此放弃对低氯饮食的追求吧。

这种“精神”病

大概已经在路上了

如此说来，虽然这个病例本身是罕见的奇葩，但它却反映了更广泛的现象，那就是所谓的“聊天机器人精神(shén)病(bìng)”（Chatbot psychosis）或(huò)者(zhě)“ AI 精(jīng)神(shén)病(bìng)”。

这个词语形容的不是 AI 本身犯病了，而是用户在和大语言模型 AI 聊天的过程中产生或者加剧了精神病症状。一个非常典型的场景是，用户相信某种阴谋论，AI 没有否定(dìng)反(fǎn)而(ér)迎(yíng)合(hé)并(bìng)鼓(gǔ)励(lì)用(yòng)户(hù)，并(bìng)且(qiě)幻(huàn)觉(jué)出(chū)支(zhī)持(chí)这(zhè)一(yī)阴(yīn)谋(móu)论(lùn)的(de)各(gè)类(lèi)证(zhèng)据(jù)，导(dǎo)致(zhì)用(yòng)户(hù)深(shēn)陷(xiàn)其(qí)中(zhōng)，日(rì)常(cháng)生(shēng)活(huó)和(hé)社(shè)交(jiāo)濒(bīn)临(lín)崩(bēng)溃，甚至采取极端行为。

目前这一现象还不是正式认定的诊断，也几乎没有相关科学研究，但已经引起了媒体的重视，积累了数量不少的个案。或许不久之后，我们就能知道这一现象的严重程度究竟如何。

相信奇怪的信念，这本身相当常见。但人终究是社会动物，需要身边同道之人的支持，才能毅然决然地一路走进沟里出不来。历史上要找到这样的同伴往往需要抛家弃子，互联网出现后就可以到小众论坛里寻找同好了。

而生成式 AI 的时代，连人类同道都不需要，管你有什么怪念头，AI 都能给你提供无限的支持和情绪价值。毕竟目前的大语言模型距离真正的通用智能还颇有一段距离，如果不把它设定为“应声虫”，就无法给用户良好的使用体验。但是这种体验是否值得付出幻觉、谣言和 AI 精神病的代价，我们作为普通用户有没有选择权，那就是另一个问题了。

据报道，OpenAI 已于 10 月 29 日更新了 ChatGPT 的使用政策，禁止其在某些原本被认为最具价值的应用领域提供服务 —— 例如解读医学影像、协助医疗诊断，以及提供法律或财务建议。

此举旨在防止 ChatGPT（以及其他任何 OpenAI 模型）输出可能被视作专业性、受托性或具有法律约束力的建议，以符合欧盟《人工智能(néng)法案》和美国食品药品监督管理局的相关指导要求。

策划制作

作者丨范岗 科普作者

审核丨于乃功 北京工业大学教授 中国人工智能学会理事

         孙明轩 上海工程技术大学教授、中国科普作家协会会员

策划丨丁崝

责编丨丁崝

审校丨徐来、张林林

本文封面图片及文内图片来自版权图库

转载使用可能引发版权纠纷