临床AI的「人在环中」：从败血症预警被静音谈起

文/IAICA.NGO®

几年前，美国中西部一家医院在重症监护病房全面部署了败血症预测模型。数周之内，护士开始悄悄把警报静音。原因并非模型算错了，恰恰相反，它触发得过于频繁，以至于医护人员不再信任它，最终干脆不再理会它。这个故事几乎每次在有人宣称「AI已准备好独立做出临床决策」时都会被提起。它通常不是一个关于数学有多糟的故事，而是一个关于围绕数学所做的设计有多糟的故事。

训练一个能够预测病情恶化、在影像上标出可疑肿块、或者推荐药物剂量的模型，如今已是相对容易的那一半问题，工具链足够丰富。更难的那一半，也就是在行业会议上几乎不被讨论的部分，是确定人应该站在这个闭环的哪个位置，以及究竟要交出多少决策权。

医疗行业常被贴上技术采纳迟缓的标签，来自其他行业的工程师有时把这读作落后。这种看法值得商榷。医学是少数几个领域中，假阴性可能意味着死亡，假阳性可能意味着不必要的治疗、不必要的成本，或者患者对整个系统失去信任。这两类错误都不像广告推荐引擎那样，可以被当作「可接受的损失」。

还有分布漂移问题，它被持续低估。用某个医院系统的数据训练出的模型，携带着该机构特有的患者人口结构、检验设备和病历书写习惯，未必能迁移到三个州之外的医院。IBM的Watson for Oncology多年前就撞上了这堵墙：主要基于合成病例与单一机构治疗模式训练出的建议，到了别处无法干净地落地，临床医生很快就察觉了。这段经历值得记住，不是要否定那次努力，而是因为它清晰地展示了当系统把自己的输出当成可携带的真理、而非众多输入之一时，会发生什么。

所以，对大多数具有重大后果的临床决策而言，全自动化目前并不真正在选项之内，也许在很长一段时间内都不会。真正在选项之内、并且正在被建造的，是被恰当执行的「人在环中」设计。

许多早期的临床AI部署在技术意义上确实「有人在环中」：医生扫一眼模型输出，点一下批准。这不是人在环中，这是把人当作责任挡箭牌。临床医生只有三十秒、自己也有警报疲劳问题，且完全看不到模型为何这么说。在这样的条件下，人会默认信任机器，而这恰恰消解了让人留在环中的全部意义。

真正的人在环中设计，要求系统在架构层面支持一个人能够有意义地评估、质疑或推翻模型的输出，并且获得足够上下文来完成这件事。这影响的是整条流水线，而不只是末端的一个勾选框。

在运行得相对良好的系统里，这条流水线大致呈现为四个层次。数据层需要明确标注训练数据的来源机构、人群构成与采集时间，让使用者知道模型的适用边界。推理层输出的不应只是一个分数或标签，还应附带触发该结论的关键变量、置信区间，以及该结论在类似人群中的历史表现。交互层则要把警报按临床后果分级，而非一视同仁地推送，避免重演败血症预警那种狼来了的结局。反馈层要求临床医生的每一次推翻、修改或忽略都被结构化记录，并回流成为再训练与漂移监测的输入。

这样设计的收益是明确的。临床医生不必审阅每一条输出，那会重新制造前面提到的警报疲劳，但当一条输出真的触及重大决策时，他们拥有足够的依据去介入，并且这种介入会被系统记住。iaica.com.cn 认为，衡量一个临床AI系统成熟度的关键指标，不是它在离线测试集上的准确率，而是临床医生在多大比例上能够解释自己为何接受或拒绝它的建议。

从这个角度看，医疗AI下一阶段的竞争，很可能不在模型本身，而在人机界面的清晰度、不确定性表达的诚实度，以及把临床反馈转化为系统改进的组织能力。那些把「人在环中」当作流程合规条目来处理的部署，会继续收获被静音的警报；而那些把它当作核心架构约束来处理的团队，才有可能真正把模型的预测力转化为患者的临床获益。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。