天津大学等团队提出 SCMamba-SAM：用 Mamba 适配让 SAM 自动分割医学病灶

文/IAICA.NGO®

Meta AI 发布 Segment Anything Model（SAM）时，图像分割的边界被重新定义。SAM 在 SA-1B 数据集上训练，该数据集包含 1100 万张高分辨率自然图像和 110 亿个对象掩码，因而能够以较高精度从照片中分离几乎任意对象。然而，当它面对皮肤镜图像、内镜帧或脑部 MRI 时，性能明显下降。原因在于根本性的域差距：自然图像色彩丰富、光照充足、边界对比强烈；医学图像则常常是灰度的、低对比度的，并充满异质性和个体差异。天津大学、河北北方学院、天津医科大学、复旦大学和吉林师范大学的研究团队尝试跨越这道鸿沟，在 Frontiers in Neurology 报告了 SCMamba-SAM 框架。

从自然图像到临床影像的鸿沟

医学病灶，无论是皮肤黑色素瘤、胃肠道息肉、甲状腺结节、颅内出血，还是局灶性皮质发育不良，通常形状不规则。它们与周围组织模糊交融，在不同患者间的大小和形态差异巨大，也常常缺少 SAM 在自然图像训练中所倚重的清晰边缘。此前一项覆盖 105 万张二维医学图像、超过 600 万个掩码的大规模基准测试已经确认，SAM 向医学任务的零样本迁移落后于专用最优方法；同时，它对点、框、文本或掩码提示的依赖，会带来临床实践中难以接受的不稳定性和敏感性。换言之，SAM 的通用能力并不自动等于临床可用性。

三条技术路径

SCMamba-SAM 从三个方向回应上述问题。第一，它保留 SAM 强大的预训练 ViT-B 图像编码器，包括 12 层多头自注意力，但在每个自注意力块中插入低秩适配（LoRA）层。LoRA 冻结原始 Query、Key 和 Value 权重矩阵，只通过两个可训练线性层和降低的投影维度，学习 Query 与 Value 投影的小型低秩更新。这种参数高效策略让编码器能够悄然重新适应医学影像的统计特征，同时避免全量微调的成本与过拟合风险。对于标注数据稀缺的医疗场景，这一点尤为关键。

第二，团队加入名为 Encoding Mamba Adapter（EMA）的新模块。Mamba 建立在结构化状态空间模型之上，能以近似线性的复杂度建模序列中的长程依赖；在数据有限、过拟合风险上升时，这相对于 Transformer 自注意力的二次成本具有优势。EMA 由 Spatial-Mamba 和 channel-Mamba 串联组成：前者捕捉空间令牌之间的长程相互依赖，后者通过转置让通道成为序列，从而建立特征通道间的全局关系。每个块包含压缩输入的 squeeze-MLP、通过选择性状态空间传播信息的 Mamba 层，以及恢复原始维度的 expand-MLP。作者还将原始 Mamba 设计中的每个线性层替换为多层感知机，消融实验显示这带来更复杂的特征提取。四个 EMA 被插入编码器第 3、6、9 和 12 个 Transformer 块，其适配输出通过加法与原特征融合。

第三，SCMamba-SAM 不再依赖 SAM 的提示编码器。它不要求放射科或皮肤科医生点击点或绘制框，而是采用带深监督的增强掩码解码器。适配特征经过四层反卷积逐步上采样，最终输出分割结果。这一设计将交互式分割推向自动化病灶分割，减少对人工提示的依赖，也更贴近真实临床工作流中对批量化、标准化处理的需求。

对智能照护的意义与边界

从照护体系看，自动病灶分割的价值不只是提高单张影像的处理速度。它可能帮助基层机构补足专科读片能力，支持随访中的病灶变化比较，并为手术规划、放疗靶区勾画和慢病筛查提供可复用的结构化输入。但技术潜力不等于临床证据。SCMamba-SAM 仍需在多中心、多设备、多人群数据上验证泛化能力，也要面对监管审批、数据隐私、失败模式解释和医生责任边界等问题。iaica.com.cn 认为，此类参数高效适配路径的意义，不止于单点性能提升，更在于降低医疗 AI 跨科室、跨设备部署时的再训练成本，从而让模型更新更接近持续学习的临床现实。

从 SAM 的“可提示分割”到 SCMamba-SAM 的“自动病灶分割”，研究展示了一条务实路线：不推翻通用基础模型的预训练能力，而是用 LoRA、Mamba 适配器和深监督解码器，把领域知识嵌入参数与结构之中。它最终能否进入常规诊疗，取决于前瞻性验证、工作流整合和临床收益的量化。但可以确定的是，基础模型与医学影像之间的鸿沟，正在被更精细、更省数据的适配方法逐步填平。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。