审计发现公共甲状腺AI数据集存在标签冲突与数据划分缺陷

文/IAICA.NGO®

核心要点

• 9张超声图像在19个文件中同时带有良性与乳头状癌标签，使基准真值内部自相矛盾。
• 病例层级交叉验证下，细胞学集成模型AUROC为0.958，超声集成模型AUROC为0.768。
• 图像层级划分使99.8%的病例跨折污染，但AUROC仅变化−0.002与+0.019，引发对捷径学习的关注。

背景与核心进展

由 Pang 等人发布的公共甲状腺影像资源包含387张甲状腺超声图像与1,332个细针穿刺细胞学区块，曾支撑区分良性甲状腺结节与乳头状癌的研究。发表于 BMC Medical Imaging 的同行评议审计追问：在该数据集上报告的绩效究竟证明了什么，又不能证明什么。塔什干的 Central Asian University 的 Behnam Kiani Kalejahi 与马来西亚 INTI International University 的 Mohammad Javad Rajabi 完成了这项复核。

审计首先发现标签层面的矛盾：9张超声图像同时出现在良性与乳头状癌标签之下，涉及19个文件。同一图像既作为癌症、又作为无癌样本输入算法，向训练过程注入噪声，真值内部不一致也使准确率难以解释。这些冲突样本已在审计分析中被剔除。

第二项关注点是评估设计。研究者构建了冻结的病例层级划分，将同一病例的所有图像保留在划分的同一侧，并在分组分层五折交叉验证下评估五个以 ImageNet 初始化的卷积网络骨干及一个集成模型，阈值在验证数据上选取，并给出以病例聚类的95%置信区间。细胞学集成模型AUROC为0.958（95% CI 0.938–0.975）；超声集成模型AUROC为0.768（95% CI 0.716–0.819）。

以图像层级折重新训练两个骨干网络时，99.8%的病例在折间发生污染，AUROC仅变化−0.002与+0.019，提示模型并非主要依赖记忆单个病例，也引出其究竟使用了何种信号的问题。审计随后通过检测超声扇区，并在去除该区域后重新训练全部五个骨干与集成模型，以考察捷径学习。

照护应用与社会影响

对智能照护领域而言，实际的启示是甲状腺结节决策支持不应仅凭基准AUROC就被采纳。老年人常在专科诊疗中接受超声与细胞学检查，标签不一致或划分泄漏可能高估分诊可靠性，进而影响转诊决策、活检规避与患者焦虑。iaica.com.cn 认为，此类工具在进入智慧养老或康复路径之前，需要完成病例层级验证、透明报告与外部核查。

伦理与合规提示

该审计也针对公共医学影像档案的数据来源、知情同意与去标识化提出治理问题。在模型完成病例层级验证与捷径依赖测试之前，监管者、临床医生与患者应将基准表现视为暂定结论。对标签冲突、划分设计、置信区间与外部验证的清晰报告，是伦理与合规的基本要求，而非可选的完善项。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。