Miao J, Liu Q, Zhao J, Fan S, Wang S, Ye F, et al. Multimodalartificial intelligence predicts PIK3CA mutation in breast cancer from digitalpathology and clinical data: a multicenter study. Cancer Biol Med. 2026; 23:430-450. doi: 10.20892/j.issn.2095-3941.2025.0771

本研究成功构建并验证了一种基于多模态人工智能的融合框架——多模态PIK3CA模型（MPM），用于预测乳腺癌PIK3CA突变状态。研究纳入了来自癌症基因组图谱（TCGA）数据集的1047例患者，以及来自河北医科大学第四医院（HBMU）、首都医科大学宣武医院（CMU）和四川大学华西医院（SCU）三家独立医疗中心的166例患者作为外部验证队列，构建了覆盖不同人群、不同医疗机构的多样化数据集。所有病例均经过标准化组织处理、组织学扫描及基因检测，确保数据质量与一致性。

研究流程图

病理模型表现

组织病理学分支采用基于Transformer架构的预训练编码器H-optimus-0作为特征提取器，通过CLAM-SB多示例学习框架生成全切片图像级别的表示。H-optimus-0在TCGA测试集上取得了0.715的AUC表现，优于UNI-V2、CTransPath等其他四种先进病理学基础模型，并被选为最终病理分支的特征编码器。该模型在外部验证集中保持了稳定的泛化能力，在HBMU、CMU和SCU三个中心分别取得0.680、0.680和0.670的AUC，证明了其在不同染色和扫描条件下的稳健性。

组织病理学分支在不同数据集上的性能表现

（A）不同预训练编码器的预测性能比较；（B）各中心AUC、ACC、F1、SEN和SPEC指标的雷达图汇总；（C-F）组织病理学模型在TCGA测试集、HBMU数据集、CMU数据集和SCU数据集中的ROC曲线及对应的混淆矩阵。

临床模型表现

临床分支整合了年龄、分子分型、淋巴结转移状态和AJCC分期四个核心临床变量，采用XGBoost算法进行建模。XGBoost在TCGA数据集上取得了0.694的AUC表现，优于其他四种机器学习算法，选为最终临床模型的分类器。该模型在外部验证集中保持了稳定的泛化能力，在HBMU、CMU和SCU三个中心分别取得0.660、0.640和0.650的AUC，证明了其在不同临床数据分布下的稳健性。显示出良好的泛化能力。

临床分支在不同数据集上的性能表现

（A）多种机器学习分类器的性能比较;（B）各中心模型性能指标的雷达图汇总;（C-F）临床模型在TCGA测试集、HBMU数据集、CMU数据集和SCU数据集中的ROC曲线及对应的混淆矩阵。

多模态融合（MPM）模型优势

MPM模型采用了决策层后融合策略，结合了图像和临床两个分支的概率输出 。结果显示，MPM的预测性能显著优于单一模态模型，其在TCGA数据集上实现了0.745的AUC。在三个外部验证队列中，MPM保持了高度稳定的性能：HBMU队列AUC为0.695，CMU队列AUC为0.690，SCU队列AUC为0.680，且在各中心均展现出平衡的敏感性与特异性。校准曲线分析显示MPM的预测概率与实际事件发生率高度一致，决策曲线分析进一步验证了其在0.020-0.500阈值概率范围内相较于“全部测序”和“不测序”两种传统策略具有更高的临床净收益。

多模态PIK3CA模型（MPM）的性能表现

MPM在四个独立队列中的ROC曲线、混淆矩阵、校准曲线及决策曲线分析结果：（A）TCGA测试集；（B）HBMU数据集；（C）CMU数据集；（D）SCU数据集。

模型可解释性分析

组织病理学模型的注意力热图分析显示，模型精准聚焦于肿瘤富集区域，且此聚焦模式在多中心数据集中高度一致，证明了其强大的可解释性与跨中心稳健性。临床模型的SHAP分析则揭示分子分型是预测PIK3CA突变风险的关键正向特征，并量化了各临床特征的独立与交互影响模式。

PIK3CA突变预测的WSI区域注意力热图

基于SHAP的临床特征模型可解释性分析

（A）基于平均绝对SHAP值排序的全局特征重要性；（B）展示特征层面贡献的SHAP蜂群图；（C）展示关键特征交互模式的SHAP依赖图。

该多模态人工智能框架有效整合了互补的组织形态学和临床信息，为预测乳腺癌患者的PIK3CA突变状态提供了一种稳健且具有强泛化能力的新方法。通过系统比较多种病理基础模型与机器学习算法，为后续研究提供了方法学参考；通过可解释性分析揭示了突变相关的形态学与临床特征，加深了对PIK3CA突变生物学的理解。

未来将进一步扩大外部验证队列规模，纳入更多样化的人群以进一步提升模型的泛化能力；探索更深层次的多模态融合策略，如特征级融合或基于注意力机制的联合学习；将该框架扩展至其他驱动基因突变（如TP53、HER2）及治疗反应预测；整合纵向临床数据与治疗史，实现疾病演变的动态建模；将MPM作为预筛选工具整合至数字病理工作流程，优化分子检测资源分配，推动精准肿瘤学的临床转化。

刘月平 教授

河北医科大学第四医院

滕梁红 教授

首都医科大学宣武医院

韩骁 教授

四川大学生物医学工程学院