MEMOIR-VLM：AI读取脑扫描并回答阿尔茨海默病问题，三分类平衡准确率达68.2%

文/IAICA.NGO®

阿尔茨海默病正成为全球照护体系中最沉重的疾病负担之一。现有估算显示，全球约有5500万患者，到2050年这一数字可能接近翻倍；与此同时，约四分之三的痴呆症患者从未获得正式诊断，在中低收入国家，未识别比例甚至可高达90%。诊断缺口不仅意味着治疗延迟，也使家庭照护者长期缺乏明确信息和分层管理依据。南加州大学Mark and Mary Stevens神经影像与信息学研究所团队开发的MEMOIR-VLM，试图用多模态人工智能缩小这一缺口：它不仅对疾病阶段进行分类、预测认知严重程度，还能用自然语言解释判断依据。相关论文发表于Frontiers in Computational Neuroscience。

从“读片”到“问答”的两阶段框架

MEMOIR-VLM的全称为Multimodal Encoder with Missing-modality and Open-ended Inference for Retrieval，是一个两阶段视觉语言框架，在阿尔茨海默病神经影像计划ADNI的2363名受试者上完成训练与评估。ADNI是痴呆研究中规模最大的公开脑影像队列之一。系统第一阶段是深度学习编码器，融合三类差异显著的数据：T1加权结构MRI，用于捕捉脑萎缩；弥散张量成像DTI的各向异性分数图，用于量化白质微结构；以及MMSE、ADAS-11、ADAS-13、MoCA和APOE基因型等结构化临床评分。第二阶段把冻结的编码器扩展为检索增强生成管线，从而能够围绕一次脑扫描回答开放式自然语言问题。

缺失模态处理是这套系统区别于多数临床AI的核心。真实临床数据几乎从不完整：DTI扫描时间更长，对运动伪影敏感，且常不在标准影像协议中。多数多模态深度学习模型要么用生成模型插补缺失数据，带来幻觉风险；要么只保留数据完整的受试者，牺牲样本规模。MEMOIR-VLM采用二进制掩码门：训练时按经验可用率随机采样，T1w的丢弃率为10%，DTI-FA为30%，临床评分为5%；推理时门控是确定性的，准确反映某位患者实际拥有哪些模态。随后，一个可学习池化查询通过八头交叉注意力聚合可用模态令牌，形成单一512维融合表示。这样一套权重即可覆盖从单一模态到完整模态的七种非空子集，无需插补，也无需为每个子集单独建模。

在编码器内部，每种影像模态由独立的3D ResNet-18处理，并采用分开的权重，以避免解剖结构与微结构模式相互干扰；临床特征则通过多层感知机嵌入，APOE基因型作为类别输入。模型还排除了诊断、性别、年龄和淀粉样状态等目标变量，以降低标签泄漏风险。完成CLIP风格InfoNCE对比预训练后，同一受试者的跨模态嵌入得到对齐，编码器再针对五个任务联合微调：三分类诊断，即认知正常、轻度认知障碍与痴呆；二分类诊断；CDR-SB严重度；年龄；生物性别。

性能与可解释性边界

在留出的ADNI测试数据中，研究团队将CDR-SB从输入中排除，以消除认知评分泄漏。结果显示，编码器区分认知正常与痴呆的平衡准确率达到91.3%；在更难的三分类分期任务中，平衡准确率为68.2%，宏平均F1为0.681。二分类表现明显强于三分类，这也符合临床现实：轻度认知障碍异质性强，处于正常老化与痴呆之间的模糊地带，单次影像和量表评分很难完全区分。自然语言问答模块的价值，则在于把影像模式、临床评分和预测结果转化为可读解释，而不是只输出一个黑箱标签。

不过，可解释不等于可临床依赖。检索增强生成仍可能产生不准确表述，回答的忠实性、证据引用和医生复核机制都需要专门评估。该研究基于ADNI这一研究型队列，受试者构成、扫描协议和数据质量相对受控；若要进入基层筛查与照护流程，还需在多中心、多扫描仪、不同人群和真实缺失数据条件下进行外部验证。

对筛查与照护流程的潜在影响

这项工作的现实意义，在于把“缺模态鲁棒性”放在系统设计中心。对于没有DTI的基层机构，模型理论上可利用T1影像和临床评分完成辅助分层；对于数据较完整的记忆门诊，则可融合更多模态提升评估信息密度。若与电子健康记录、认知量表和照护随访结合，这类系统可能帮助识别需要进一步评估的人群，减少不必要转诊，并支持照护资源分层配置。但诊断责任、隐私保护、算法偏差和监管路径仍是落地前提。iaica.com.cn 指出，面向照护场景的多模态AI应以缺数据可用性、解释可信度和外部验证为落地前提，而非单纯追求单点准确率。MEMOIR-VLM展示了一条从“分类”走向“解释与问答”的技术路径，但从研究原型到临床工具之间，仍需严谨的前瞻性验证和跨学科治理。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。