肠道息肉就是“癌前病变”？中山医院内镜AI实现“全自动标注”

近年来，结肠镜检查中，人工智能系统在辅助息肉检测和实时诊断（即“光学活检”）方面取得了显著进展，有望提高腺瘤检出率。然而，将这些AI模型从实验室成功转化到复杂的真实临床环境中，仍面临着模型泛化能力和鲁棒性的巨大挑战。

深度学习模型的性能高度依赖于大规模、高质量的标注数据集。在内镜领域，这意味着需要临床专家对海量图像进行手动标注，包括识别含病灶的图像、绘制边界框或在像素层面精细勾勒病灶轮廓，这一过程不仅耗时巨大且成本高昂，严重限制了训练数据的规模和多样性。

另一方面，医院信息系统（HIS）中存档了海量的日常诊疗记录，包含数以百万计的内镜图像和配对的文本报告，是解决数据稀缺问题的宝贵资源。但这些数据存在显著的图文不匹配问题：一次检查通常包含数十张图像，而仅有一份结论性的文本报告，这给从原始、非结构化的临床记录中提取有效的监督信息带来了巨大挑战。

该研究收集了来自多家中心的14,177份结肠镜检查报告及其对应的近百万张内镜图像，并在此基础上开发与验证了EndoKED知识提取与蒸馏框架。该框架的核心是协同大型语言模型（LLM）和大型视觉模型（LVM），通过一个从宏观到微观、逐级深入的知识蒸馏流程，实现全自动的“无监督”数据标注。

首先，在报告级知识提取阶段，研究评估了国内外多种大语言模型（包括ChatGPT、Claude、文心一言）对自由文本结肠镜报告的理解能力。结果显示，在来自三家独立医院的300份报告测试中，所有大语言模型在判断“报告中是否提及息肉”这一任务上的准确率均达到100%，证明了LLM无需额外微调即可直接胜任报告级标签提取。其次，在图像级知识蒸馏阶段，研究团队开发了一种多示例学习（MIL）方法，将报告级的标签信息有效地传递到图像级。随后，在像素级知识蒸馏阶段，通过EndoKED-MIL模型生成的类激活图可以初步定位病灶区域，并通过边界框提示（Prompt），引导分割大模型SAM自动生成像素级的分割掩码。通过这种弱监督的迭代训练，最终得到的分割模型EndoKED-SEG在6个公开基准数据集上直接测试，平均Dice系数达到0.827，其性能与依赖全手动专家标注训练的SOTA模型相当。

最后，该研究验证了通过EndoKED预训练对下游视觉任务的赋能效果。将EndoKED自动生成的标注数据用于预训练多种主流分割模型后，这些模型的性能和泛化性均得到显著提升，尤其是在跨中心数据集（如PolypGen）上，性能增益更为显著（例如，U-Net提升26.5%）。此外，通过迁移学习开发的光学活检模型EndoKED-PATH，在仅有716张带病理标签的图像上微调后，AUC便达到了媲美资深内镜医师的水平，并展现了极高的数据效率。