该研究破解消化内镜 AI 研发的标注数据瓶颈，首创 EndoKED 范式实现肠镜图文病历的全自动像素级标注，大幅提升息肉分割、光学活检模型性能与泛化能力，为智慧内镜系统研发奠定关键基础，具有重要临床转化价值。

研发肠镜分析人工智能系统往往需要专家标注的影像数据集，但数据集在规模与多样性方面的局限性，会制约模型的性能与泛化能力。常规临床诊疗中产生的肠镜图文病历包含数百万张影像及配套文字报告，是极具价值的数据源，然而对其进行人工标注需耗费大量人力。本研究依托大语言模型与视觉模型的新技术进展，提出一种面向深度知识提取与提炼的数挖掘范式 —— 内镜知识提取与蒸馏框架（EndoKED）。该框架可实现将原始肠镜图文病历自动化转换为带像素级标注的影像数据集。

本研究将 EndoKED 框架应用于多中心原始肠镜图文病历数据集（含约 100 万张影像），实验结果表明，该框架在报告层与影像层息肉检测、像素级息肉标注任务中均表现出优异性能。基于 EndoKED 框架完成预训练的息肉分割模型，其性能与泛化能力均达到当前业界先进水平。此外，以 EndoKED 为视觉骨干网络，可实现光学活检任务的高效数据学习，该模型在内部验证、外部验证及前瞻性验证数据集中，均取得了与专业医师相当的检测性能。该研究最终发表于《自然·生物医学工程》（Nature Biomedical Engineering），影响因子26.7分。

结直肠癌是全球第二大癌症致死原因，结肠镜检查是其防治“金标准”，内镜AI系统可提升息肉检出率，但依赖大规模专家手动标注数据集，耗时耗力且成本高，同时临床海量图文记录难以有效利用，成为AI模型转化落地的核心瓶颈。

2025年9月，复旦大学附属中山医院周平红/李全林教授团队联合多机构，在《自然·生物医学工程》发表研究，创新性提出EndoKED数据挖掘范式。研究收集14177份结肠镜报告及近百万张图像，通过桥接大语言与视觉模型，实现从报告级到像素级的全自动无监督标注。

该范式性能优异，自动标注训练的模型与专家手动标注模型相当，可显著提升下游模型性能与泛化性，光学活检模型达到资深医师水平。研究设计严谨、数据量充足、技术创新，精准破解医学AI数据标注难题，为智慧内镜系统普及奠定基础，兼具重要科学价值与临床转化潜力。

“沉睡的海量数据，如何才能成为唤醒智慧医疗的钥匙？”这是复旦大学附属中山医院内镜团队在日常临床工作中反复思考的问题。

作为全球顶尖的消化内镜中心，中山医院每天都会产生海量的肠镜检查图文病历。医生们深知，这些包含着真实世界各种复杂病变的数据，是训练内镜人工智能（AI）的无价之宝。然而，传统的AI模型训练面临着一个巨大的难题：需要耗费大量顶尖内镜专家的时间，去手动为每一张图像勾画息肉的边界（像素级标注）。面对数以百万计的图像，这种“手工作坊”式的标注方式不仅成本高昂，更严重制约了AI技术的迭代与普及。

“我们能不能让AI来教AI？”随着ChatGPT等大语言模型（LLM）和SAM等视觉大模型（LVM）的问世，周平红教授与李全林教授敏锐地捕捉到了跨界融合的契机。团队迅速联合计算机视觉领域的顶尖学者王烁教授，开启了一场“医工交叉”的破冰之旅。

研究过程并非一帆风顺。真实世界的临床报告语言精练甚至带有口语化，且一次检查包含数十张不同部位的截图，如何让语言模型读懂病历，再精准对应到视觉模型去抠出病灶？团队经历了无数次的代码调试与模型架构重构，最终创新性地提出了“EndoKED”数据挖掘范式。通过巧妙的“知识蒸馏”技术，他们成功让大语言模型充当“阅读理解专家”提取报告结论，让视觉大模型充当“火眼金睛”进行图像分割。

当看到EndoKED在近百万张多中心肠镜图像上，无需人工干预就自动生成了高质量的像素级标注，并在随后的光学活检任务中达到了资深内镜专家的诊断水平时，团队成员们知道，他们不仅解决了一个工程难题，更为全球消化内镜AI的研发开辟了一条全新的赛道。

周平红 教授

通讯作者

外科学二级教授，博导，复旦大学附属中山医院内镜中心主任，复旦大学内镜诊疗研究所所长，上海市内镜工程技术研究中心和微创协同创新中心主任，国际知名消化内镜微创治疗专家。“大国工匠”，全国先进工作者，国家卫生健康突出贡献中青年专家，享国务院特殊津贴专家，民进全国“双岗建功“优秀会员，上海市统一战线系统优秀典型，上海市科技精英，上海市领军人才，2019复旦大学本（专）科毕业生“我心目中的好老师”，2016美国 DDW“内镜世界杯”裁判，意大利帕多瓦大学客座教授。兼任美国、日本消化内镜学会Fellow（FASGE，FJGES），国际内镜网络组织（IDEN）成员，中华医学会消化内镜学分会副主任委员，中华医学会第26届理事会理事。担任上海市第十四届政协委员和中华全国总工会第十八届执行委员会委员。擅长胃肠道肿瘤的内镜微创和外科手术治疗，创造性地开展了数项世界领先的微创切除新方法。35多个国家、地区大会演讲和手术演示，足迹遍布世界各地。主编《内镜黏膜下剥离术》、《消化内镜切除术》、《Atlas of Digestive Endoscopic Resection》、《放大内镜胃早癌诊治集锦》等专著12部，医学视听教材5部，发表医学论文200余篇。以第一完成人先后荣获国家科技进步奖二等奖1项，省部级科技进步奖一等奖3项，上海医学百年发展“杰出贡献奖”，吴阶平医药创新奖，欧洲医疗设备年度创新大奖等。

李全林 教授

通讯作者

主任医师，教授，博士生导师，复旦大学附属中山医院内镜中心副主任、主任助理。十四届全国青联常委，十三届上海市青联常委。中华医学会消化内镜学分会青年学组副组长，中华医学会消化内镜学分会胃食管反流病协作组副组长，中华医学会消化内镜学分会NOTES学组秘书，上海市医学会消化内镜专科分会委员兼秘书长，上海市医学会消化内镜专科分会ERCP学组组长，中国抗癌协会肿瘤内镜学专委会委员，中国医药教育协会消化内镜专委会副主任委员。

国家万人计划青年拔尖人才，上海市优秀学术带头人，上海市曙光学者，上海市青年拔尖人才，上海市青年科技启明星，上海市医苑新星杰出青年人才。获华夏医学青年科技奖，中国抗癌协会青年科学家奖，吴孟超医学青年基金奖，上海市青年五四奖章等。

主要从事消化系统疾病内镜微创诊治的临床与基础研究。擅长多种内镜微创诊疗新技术，年主刀4级内镜手术逾1200例，包括内镜黏膜下剥离术（ESD）治疗消化道早期癌和黏膜下肿瘤、经口内镜下肌切开术（POEM）治疗贲门失弛缓症、内镜逆行胰胆管造影术（ERCP）治疗胆胰系统疾病等。美国消化疾病周（DDW）、欧洲消化疾病周（UEGW）和亚太消化疾病周（APDW）等国际学术大会主题发言和手术演示100余次。

主持国家自然科学基金等纵向科研项目18项。以第一/通讯作者（含共同）在Nat Biomed Eng，Gut，Gastroenterology，Nat Commun，STTT，Am J Hum Genet，Clin Gastroenterol Hepatol等发表SCI论文103篇，被引4011次，H因子34，被纳入美国、欧洲和日本消化内镜学会等国际指南20部。转化专利31项，转化金额497万元，获国家二类医疗器械注册证3项。作为主要完成人获：国家科技进步奖二等奖，中华医学科技奖二等奖，上海医学科技奖一等奖，上海市科技进步奖一等奖，华夏医学科技奖一等奖等。

每一项临床研究都倾注着研究团队的心血结晶。学习过后，您是否有所收获？或有疑问想与主创团队分享？请在评论区留言，期待与您交流！