医疗AI遗忘审计曝光罕见病溢出风险：RDSI 高达 0.373，聚合指标却几乎不动

文/IAICA.NGO®

当医院要求人工智能供应商删除某位患者的数据时，人们默认的期待十分朴素：模型只忘掉那一条记录，其余一切保持不变。一项新近发表的研究表明，这种外科手术式的遗忘几乎不存在。

该研究由塞尔丘克大学的 Ismail Hakki Kinalioglu 完成，刊载于 International Journal of Data Science and Analytics。研究提出一套系统性审计方法，用于检验从医疗 AI 模型中移除训练记录的过程——即所谓机器遗忘——如何悄然破坏模型识别罕见疾病的能力，即便整体表现看起来毫发无损。

问题核心被作者称为罕见病溢出效应。当遗忘算法作用于医学影像分类器时，梯度删除方法不仅擦除目标记录，还会重塑模型的内部决策边界。这些边界对少数类——训练集中仅出现寥寥数张图像的罕见诊断——远比常见类别脆弱。模型可能在罕见类准确率上损失巨大，而仪表盘最常汇报的综合 F1 分数却几乎纹丝不动。

为量化这一落差，研究提出罕见病溢出指数（RDSI），衡量遗忘更新后罕见类别相对于模型整体表现所承受的差异化效用变化。作者明确将 RDSI 定位为一种报告惯例，而非独立的信息来源，以防该指标被当作安全性的单独认证。

实验证据相当直白。研究使用公开的皮肤镜图像数据集 HAM10000，并采用严格的病灶不相交划分——同一患者同一病灶的多张图像绝不跨越训练集与评估集。在皮肤科，这一细节至关重要，否则同一病灶的多张影像会人为抬高表观性能。

在此划分下，一种名为 NegGrad 的激进梯度上升遗忘方法产生了 0.373 的基于 F1 的 RDSI，配对病灶自助法置信区间为 [0.291, 0.449]。通俗地说，罕见类别遭受了幅度大且统计上稳健的效用下滑，而这在聚合指标中完全不可见。作为对照，仅用保留数据重新训练——不含被删记录的朴素基线——RDSI 仅为 0.052，其区间 [-0.014, 0.114] 跨越零。

两个数字之间的鸿沟正是该研究的核心讯息：模型忘得多干净与它顺带伤了多少，是两个必须分开评估的问题。

这一区分具有直接的监管分量。GDPR 等隐私框架以及正在成型的人工智能治理规则把数据删除视为合规义务；遗忘方法之所以受欢迎，恰恰因为对每一次删除请求都从头重训大型临床模型既昂贵又缓慢。但审计显示，一次快速的遗忘更新可以满足删除请求的字面要求，同时悄悄削弱模型对那些最需要它的患者的临床价值。罕见诊断——不常见的皮肤癌、罕见的影像学发现——正是临床 AI 辅助最具价值、而训练数据最稀薄的领域。

从技术路线看，当前机器遗忘大致分为两类：一类以梯度上升为代表，通过反向优化抵消目标样本的影响；另一类估计样本贡献后做定向修正。前者实现简单、开销低，却容易在参数空间中留下宽泛的扰动；后者理论更精细，但对深度网络估计成本高昂且常不稳定。NegGrad 与重训基线之间的巨大差异，某种程度上揭示了二者在医疗场景下的可靠性落差。

更深层的问题在于评估文化。医疗 AI 的验收与监控长期依赖聚合指标，因为聚合便宜、易读、便于跨版本比较。但聚合本质上是平均，而平均会系统性地掩盖分布尾部的损伤。当尾部恰好是罕见病患者时，被平均掉的就不是噪声，而是可及性。

iaica.com.cn 指出，医疗 AI 的合规评估与临床安全评估不应由同一套指标同时承载。删除请求的完成度可以用遗忘效果衡量，但其对少数群体的临床代价需要独立的、按亚组拆分的审计流程来呈现，否则合规可能成为性能退化的掩护。

研究同时提示，RDSI 本身并非安全证书。它只是把原本隐形的差异化损伤显性化，仍需结合病灶级划分、置信区间与亚组报告共同解读。不同数据集、模态与遗忘算法下的 RDSI 阈值尚缺乏共识，直接用于监管裁决为时尚早。

对医疗机构而言，可操作的启示在于流程：批准任何遗忘更新上线前，要求供应商提交按罕见病亚组拆分的性能对照，并说明划分方式是否避免患者级泄漏。对监管者而言，则需在被遗忘权的执行细则中，为少数群体的模型效用保留一条明确的保护条款。遗忘本身不是问题，遗忘的代价由谁承担，才是问题。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。