近日，TIME实验室2024级博士生孙昊的论文 “From Pretraining to Pathology: How Noise Leads to Catastrophic Inheritance in Medical Models”（作者：孙昊，韩忠义，陈皓，王晋东，高欣，尹义龙）成功被 Annual Conference on Neural Information Processing Systems (NeurIPS) 2025 录用。NeurIPS 与 ICML、ICLR 并称为“机器学习三大顶会”，属于 CCF A 类会议。

随着大规模预训练模型在医学影像和自然语言处理中的广泛应用，其在临床任务中的安全性和鲁棒性问题受到越来越多的关注。近年来研究发现，预训练数据中的轻微噪声不仅可能在分布内任务上提升精度，却会显著削弱模型在分布外任务上的泛化能力，这种现象被称为 “灾难性继承”（Catastrophic Inheritance）。医学场景中由于标注稀缺、领域偏移严重以及预训练语料噪声普遍，问题尤为突出。本研究首次系统性揭示了灾难性继承在医学大模型中的表现及机理。通过可控的标签扰动实验，作者发现：随着预训练噪声增加，特征与 logit 的分布出现 偏度（Skewness）和峰度（Kurtosis）显著下降，意味着表征空间趋于“扁平化”，丧失了区分细粒度医学模式的能力。基于这一发现，论文提出了全新的 形态保持正则化方法（Skewness–Kurtosis Distribution Regularization, SKD），在微调过程中引入两项标量正则损失以恢复分布的非对称性和尖锐性。该方法无需修改预训练主干模型，计算开销极低，却能有效抵御噪声带来的表征塌缩。在多个医学影像和语言基准上（包括 PLIP、ResNet-50、PubMedBERT 等），SKD 在跨域和分布外任务中均显著提升了模型的鲁棒性与精度。例如，在病理学基准 PanNuke 和 Kather colon 上，方法相较于现有技术取得了新的最优性能。研究表明，分布形态的高阶统计量不仅是诊断模型退化的关键指标，也能成为改进大模型医学应用的有效工具。