2026年2月20日，我院教授周声龙（第一作者和通讯作者）和罗自炎，以“Preconditioned Inexact Stochastic ADMM for Deep Models”为题，在Nature子刊，国际顶级人工智能期刊《Nature Machine Intelligence》在线发表重要创新成果。该研究得到了国家重点研发计划和国家自然科学基金的支持。

基础大模型的快速发展正在全球范围内引发范式转变，重塑众多领域。长期以来，用于训练这些模型的主流优化器都是基于随机梯度下降算法开发的，所以存在固有局限，如收敛速度慢，以及对收敛要求苛刻的假设。尤其在分布式环境中出现的数据异质性，会对这些算法的理论分析和数值性能带来巨大挑战。

       本文提出了一种新算法：PISA（预条件非精确随机交替方向乘子法）。该算法基于严格的理论框架，仅需梯度在有界区域上满足 Lipschitz 连续性即可保证收敛，突破了传统随机优化方法对额外假设的依赖，为解决分布式环境中的数据异质性难题提供了新的技术路径。此外，该算法架构高度可扩展，支持大规模并行计算，并允许使用多种预条件机制，例如二阶信息、二阶动量，以及利用 Newton–Schulz 迭代构建的正交化动量。基于后两种预条件机制，推出了两个计算高效变体：SISA 与 NSISA。在视觉模型、大语言模型、强化学习、生成对抗网络以及循环神经网络等多个前沿任务上的大规模实验表明，与当前多种先进优化器相比，SISA 和 NSISA 在训练速度与数值性能方面均取得显著优势。

文章链接: https://doi.org/10.1038/s42256-026-01182-3

人员介绍：

周声龙：北京交通大学数学与统计学院教授，博士生导师，英国南安普顿大学博士。于2007和2011年分别获得北京交通大学本科和硕土学位，于2018年获得英国南安普顿大学博士学位，之后在该校担任副研究员和讲师。于2021至2023年在伦敦帝国理工担任副研究员。研究方向为最优化理论与方法，以及在机器学习、人工智能、信号处理等领域中的应用。在国际顶级和权威期刊发表SCI论文50余篇，如人工智能和机器学习顶刊Nat Mach Intell、IEEE TPAMI、JMLR，最优化顶刊MOR、SIOPT、SISC、ACHA，信号处理顶刊IEEE TSP。入选2022年国家级青年人才计划、获批2023年国家重点研发计划青年科学家项目。

罗自炎：北京交通大学数学与统计学院教授、博士生导师，中国运筹学会数学规划分会副秘书长，中国运筹学会女性工作委员会委员，中国运筹学会算法软件与应用分会理事，中国高等教育学会教育数学专业委员会资深理事。曾访问美国斯坦福大学、新加坡国立大学、香港理工大学、英国南安普顿大学等。主要从事张量优化、稀疏优化及统计优化的理论、算法及应用研究，在Nat Mach Intell、SIOPT、MP、MOR、IEEE TSP、IEEE TWC、JMLR等顶级期刊发表学术论文，合著SIAM出版社英文专著1部，曾获教育部自然科学奖二等奖、中国运筹学会青年科技奖提名奖、2023年入选国家级青年人才计划。