把每个 AI 答案都当作草稿
AI 答案是一份需要你核对的初稿,绝不是最终结论。本模块帮助你养成把答案与你已知内容相比较的习惯。
想办法把它问倒,再一起定检查清单
- 每个人挑一个关于本地规定、办公室或截止日期的问题,去问聊天机器人。
- 花五分钟时间换着法子提问,想办法让它给出一个听起来很有把握、细节丰富但其实是错的答案。把成功的例子贴出来。
- 看看是什么骗过了你们,一起写出五条:团队在把AI的答案交给服务对象之前要检查什么。把这五条留下来。
如果是同事把这些错误答案交给你,你会不会直接发出去?
- 有一种有据可查的习惯,叫做自动化偏见:即使机器给出的答案是错的,即使眼前的情况已经说明并非如此,人们仍然倾向于附和它。知道自己容易受此影响,是你的第一道防线。
- 在阅读 AI 的答案之前,先形成自己的答案,或先回想相关规定。先做出判断,你就是在比较两个答案,而不是被动接受一个,而这正是已被证明能减少过度依赖的做法。
- 自信而措辞流畅的解释并不能证明答案是对的。无论答案对不对,AI 都会用同样流畅、笃定的语气写出来,所以圆润的说理会让错误答案显得更有说服力,却并不会让它更真实。
- 把每一个具体细节都当作尚未确认,直到你核实为止。电话号码、办公时间、截止日期、金额和资格规则,是 AI 最常凭空捏造或已经过时的内容,因此在把这些信息交给服务对象之前,请对照官方来源或同事加以确认。
- 留意答案遗漏了什么。一段流畅的摘要可能悄悄漏掉那个真正重要的条件,比如收入上限或申请截止日期,所以要检查关键条件是否仍在,是否被不知不觉地抹平了。
- 当 AI 说它不确定时,把这当作有用的信息和放慢速度的信号。人们对带有保留意见的答案依赖更少,正确率反而更高,而没有出现保留措辞,绝不能证明答案就是安全的。
- 记住,AI 是从过去的数据中学习的,可能会重复其中的不公平。答案出错的方式可能与服务对象是谁有关,所以权威的语气并不能保证系统在公平地对待你的服务对象。
自动化偏见——即使机器的输出是错的,人们仍倾向于依从它——这种倾向在健康与安全领域已有充分记录(Goddard 等,2012)。给 AI 的建议加上解释并不能解决这个问题。即便看到的是一个措辞自信却错误的答案并附有理由,人们依然倾向于照单全收,而真正能减少过度依赖的做法,是先请人们形成自己的答案(Bucinca 等,2021)。
即使是训练有素的专业人员,也会听从 AI 的错误建议。阅读胸部 X 光片的临床医生在看到不准确的 AI 建议后,诊断反而变差了,而在该任务上经验较少的人受影响最大(Gaube 等,2021)。在一个心理健康的例子中,当某工具推荐了错误的抗抑郁药时,临床医生自己的判断也变差了,而在建议上附加解释并不能保护他们(Jacobs 等,2021)。流畅的说理并不是一道保障。
答案的措辞方式会改变人们对它的信任程度。当 AI 以第一人称表达不确定,例如"我不太确定,不过……"这样的措辞时,人们对它的依赖更少,答对的比例反而更高(Kim 等,2024)。这种隐藏的风险也会反过来出现,因为一个流畅自信的答案可能恰恰漏掉了那个关键部分。当大语言模型简化医疗知情同意文本时,它们有时会漏掉风险信息,却没有任何迹象表明有内容缺失(Oh 等,2025)。请检查关键条件是否仍然都在。
AI 可能满怀自信地出错,而且出错的方式会沿袭既有的不平等。一种被广泛使用的健康算法之所以有偏见,是因为它被设计成预测费用而不是疾病,从而低估了黑人患者的需求,并使他们更难获得所需的照护(Obermeyer 等,2019)。权威的语气并不能保证系统在公平地对待你的服务对象。
当 AI 出错时:误报与漏报
当一个 AI 答案、一个筛查工具或任何一种检测出错时,它出错的方向只有两种。知道自己面对的是哪一种,就知道该在哪里更用力地核对。
每个答案都会落入四个格子之一
误报
它回答是,而真相为否。这也称为误报(false positive),或第一类错误(Type I error)。
它说某位服务对象符合某项福利资格,其实并不符合。
漏报
它回答否,而真相为是。这也称为漏报(false negative),或第二类错误(Type II error)。
它说某位服务对象不符合资格,其实符合,或者没有标记出有人正处于危机之中。
- 误报(假阳性)会在真实答案为否时回答是。比如,它说某位服务对象符合某项福利资格,其实并不符合,或者把一份普通文件标记为有问题。
- 漏报(假阴性)会在真实答案为是时回答否,或者没有注意到确实存在的情况。比如,它说某位服务对象不符合资格,其实符合,或者没有注意到有人正处于危机之中。
哪种错误更糟,取决于事关什么,而 AI 并不知道其中的利害。你知道。
- 在福利与资格方面,漏报往往危害更大:告诉一个家庭他们不符合资格,其实符合,可能会切断他们本应享有的食物、住房或照护。
- 在安全与危机方面,漏报可能会付出生命的代价,所以漏掉一个真实风险远比误报更糟。这里一旦拿不准,就当作真的,并转交给一个人来处理。
- 在法律与移民方面,误报可能危害更大:告诉某人他符合某项救济资格,其实并不符合,可能导致一份会损害其案件的申请。
在照 AI 答案行事之前,先问一问:在这种情况下,哪种错误会给服务对象带来更大伤害,然后针对那种错误核对得最用力。
核实一个语气笃定的福利答案
- 一位导航员向聊天机器人询问某位服务对象的家庭是否符合某项食品援助项目的资格。聊天机器人给出了肯定的回答,附带清晰的解释和一个具体的收入上限。
- 在告诉服务对象任何信息之前,这位导航员先写下自己已经了解的相关规定。聊天机器人给出的收入数字,看起来比她上个月使用的数字要高。
- 她对照该项目官方的州政府网页核实这个数字,发现限额已经变了。这个家庭实际上刚好超过了该项目的门槛。
- 她把聊天机器人的答案当作一份草稿,它把她引向了正确的问题,于是她去查这个家庭究竟符合哪个项目的资格。
- 她向服务对象解释正确的规定,并请对方复述一遍将带来预约现场的材料,以确认信息已经传达到位。
先自己回答一遍
给大家一个真实的资格或福利问题。每人先写下自己的答案。然后读出 AI 对同一个问题的回答。每人标出他们会核实哪些具体说法、会去哪里核对。最后一起复盘:先形成自己的答案,是如何让人更容易质疑 AI 答案的。
对照来源核实一个答案
找一个 AI 对常见服务对象问题给出的真实答案,把它打印出来。两人一组,划出其中每一条具体说法:电话号码、地址、金额、截止日期和资格规则。针对每一条划线内容,说出你会用哪一个官方来源来核对它,然后真的去查一查,并比较你查到的结果。留意那个后来被证明是错误或过时的地方,答案当初听起来有多笃定,并讨论如果没有人核实,这些细节中哪些会原封不动地传达给服务对象。