近日，清华大学生物医学工程学院脑影像实验室（Lab for Brain Imaging Research at Tsinghua，BIRTH实验室）题为“Chest-OMDL: Organ-specific Multidisease Detection and Localization in Chest Computed Tomography using Weakly Supervised Deep Learning from Free-text Radiology Report”的研究论文被2025年医学影像深度学习国际顶级学术会议MIDL（International Conference on Medical Imaging with Deep Learning）接收。该研究开发了一种基于弱监督学习的胸部CT基础模型，通过整合CT影像与放射学报告等多模态数据，实现了无需人工标注即可进行疾病检测与精确定位的能力。论文共同第一作者为学院2021级本科生白旭光及2024级博士生刘铭轩，通讯作者为田启源研究员，其他作者包括2023级博士生杨鸿嘉及2025级博士生陈一飞。

MIDL (Medical Imaging with Deep Learning)作为医学影像与深度学习交叉领域的权威国际会议，自2018年创办以来已成功举办至第八届。该会议聚焦于深度学习在医学影像分析中的前沿应用，涵盖病灶检测与分割、多模态图像配准、影像重建与合成以及大规模医学数据集构建与标注等关键研究方向，致力于促进先进算法向临床实践的有效转化与落地应用。

图为成果中Chest-OMDL框架示意

近年来，深度学习模型在胸部CT多疾病检测领域取得显著进展，但现有方法普遍面临标注数据依赖性强、器官特异性定位能力不足及泛化性受限的挑战。传统全监督方法依赖大规模专家标注数据，导致模型开发成本高昂；而基于放射报告的弱监督方法虽降低标注需求，却难以实现像素级病灶定位。现有视觉-语言对比学习框架（如CT-CLIP）虽在分类任务中表现优异，但无法提供可解释的解剖学定位信息，严重制约其临床适用性。针对上述难题，本文提出Chest-OMDL创新基础模型训练框架，首次将弱监督学习与器官特异性解剖先验知识深度融合，实现零成本基础模型训练。具体来说，通过RadBERT语言模型从自由文本报告中提取多疾病标签，结合Segment Anything by Text（SAT）模型生成的器官分割掩码，构建Y-Mamba双路径模型架构。该模型创新性地引入器官分割解码器与疾病异常图生成器的协同训练机制，通过多任务损失函数实现器官级弱监督下的全局-局部特征对齐。

图为成果中COVID-19 CT数据集上的异常定位结果

实验结果表明，Chest-OMDL在大规模CT-RATE数据集（25,692例胸部CT扫描）上训练并在外部RAD-ChestCT数据集（3,630例扫描）上验证，其性能显著优于CT-CLIP（对比语言-图像预训练）和CT-Net（全监督）模型。在多疾病分类任务上，Chest-OMDL实现了更高的平均AUROC（内部验证集+7.74%，外部验证集+10.60%）和F1分数（内部验证集+13.58%，外部验证集+8.72%）。

实验进一步证明，Chest-OMDL作为基础模型展现出了可靠的迁移学习能力。研究结果显示，即使该模型仅利用器官级弱监督信号进行预训练，且从未接触过COVID-19的标签数据，它在分布外的COVID-19 CT数据集上仍实现了0.450的像素级分割DSC值，这一性能与直接使用2例标注数据进行监督训练的效果相当。当继续利用少量标注数据（2例有标注样本）进行微调后，分割性能显著提升至0.550以上，DSC提高了22.2%。这些发现说明该模型能在资源有限的情况下有效实现知识迁移，为降低医学AI的部署成本和快速应对新型疾病提供了可行方案。

作为医学影像基础模型，Chest-OMDL的预训练编码器能为多种下游任务提供高质量的基础特征表示，广泛适用于图像分割、疾病分类、异常检测和医学图像描述生成等多模态应用场景。未来研究将着重评估该模型在更广泛医学场景中的应用价值，包括医学影像报告自动生成、少样本学习以及跨模态理解等任务，以全面验证其作为通用医学影像基础模型的实用价值和应用潜力。

论文原文链接

https://openreview.net/forum?id=ns6nq592HX 

BIRTH实验室介绍

清华大学脑影像实验室（Lab for Brain Imaging Research at Tsinghua，BIRTH实验室）隶属于清华大学生物医学工程学院，由田启源博士于2023年成立，长期致力于为脑影像新工具与脑科学、脑疾病新发现的诞生（birth）做出贡献。研究专注于新型脑成像与图像分析方法的研发及其在脑科学研究和脑疾病诊疗中的应用与转化，涉及生物医学成像、脑成像、脑科学、脑疾病、计算机视觉和深度学习等重大前沿领域。BIRTH实验室相关研究发表于国际著名学术期刊《细胞》（Cell）、《神经成像》（NeuroImage）、《医学影像分析》（Medical Image Analysis）等。

微信公众号：BIRTH Lab