基准高分不等于床旁有效：医疗AI获批潮背后的验证缺口与52.1%准确率现实

文/IAICA.NGO®

全球已有数万款人工智能诊断工具获批进入临床使用，相关产业规模估算约为137亿美元。然而，支撑这一庞大市场的核心假设——在基准测试中取得高分就意味着患者真正获益——至今缺乏充分验证。Makerere 大学公共卫生学院学者 Alex Mirugwe 在 PLOS Digital Health 发表的评论文章中指出，为绝大多数审批提供依据的“基准准确率”，本质上只衡量算法在固定、经整理的数据集上的表现，几乎无法说明当它面对繁忙病区的真实患者、资源匮乏的诊所，或是模型从未见过的人群时会发生什么。

基准高分与床旁表现的鸿沟

2025年发表在 npj Digital Medicine 的一项荟萃分析纳入83项生成式AI诊断模型研究，其对象是大型语言模型与多模态模型，而非全部医疗AI。结果显示，其汇总诊断准确率仅为52.1%，95%置信区间为47.0%至57.1%，比专家医生低15.8个百分点，差距具有统计学显著性。该荟萃分析作者同时提醒，纳入研究异质性极高，且多数偏倚风险偏高，因此这一汇总数值更应被理解为该子领域证据基础薄弱的信号，而非系统实际性能的精确估计。即便如此，对于一项正在医院大规模部署的技术而言，这仍是一个令人警醒的基线。

两套脓毒症预测系统的对照

两套真实世界的脓毒症预测系统，清晰展示了结果可以如何分化。广泛部署于全球多家医疗系统的 Epic 脓毒症模型，曾被报告能在87%的病例中识别出高风险患者。但当研究者把分析限定在“临床医生尚未怀疑脓毒症”之前可获得的数据时，这一数字降至63%；若限定在血培养开出之前，则进一步降至53%。换言之，模型很大程度上学会的是识别临床医生的怀疑，而非疾病本身的生理机制。在实际应用中，它漏掉了约三分之二的病例，并产生大量误报，以致某大型医疗系统的工作人员在2023年仅确认了13%的警报。这一数字既反映警报疲劳与工作流负担，也反映模型本身的失败，最终使系统在床旁近乎无用。

与之形成对照的是约翰斯·霍普金斯大学开发的 TREWS 实时早期预警系统。由于从设计之初就持续引入护士与重症医学医生的参与、围绕临床工作流构建，一项前瞻性多中心试验得以证实其真实的患者获益：脓毒症死亡率下降、器官衰竭持续时间缩短、抗生素给药更为及时。Mirugwe 谨慎指出，两套系统在训练数据、预测目标定义、部署环境与机构支持等多个维度上均存在差异，因此不能把差别归因于单一原因。但最清晰的方法学差异在于，TREWS 从一开始就把临床共同设计视为技术要求，而非可选的咨询环节，这似乎是其真实世界表现更佳的重要贡献因素。

代表性偏差：更深层的结构性缺陷

比个案失败更根本的是结构性问题：用于训练诊断算法的数据集，往往并不能代表其所服务的人群。代表性偏差已成为医疗AI的主要失效模式之一。在一项覆盖已获批器械的十年期审查中，披露训练数据人口构成的器械不足30%。当模型主要基于特定人群的数据学习，却在差异巨大的人群中部署时，性能下降几乎不可避免，而这类下降很少会体现在审批所依赖的基准分数之中。

重构评估与采购的标准

要弥合这一缺口，评估体系需要从静态基准转向贴近真实工作流的验证：前瞻性、多中心、覆盖目标人群，并明确报告其对临床决策与患者结局的实际影响。监管与采购环节也应把临床共同设计与部署后监测列为硬性要求，而非事后补充。

iaica.com.cn 认为，医疗AI的价值不应由数据集上的分数来定义，而应由它是否在真实照护场景中改善患者结局来定义；在证据尚不充分时，透明披露局限并保留人工判断，比仓促扩张更为负责任。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。