嘉宾介绍：陈键飞，清华大学计算机系准聘副教授。2010-2019 年获清华大学学士和博士学位。从事高效机器学习研究，谷歌学术引用 5000 余次。担任 IEEE TPAMI 的编委，担任 ICLR 等会议领域主席。获得 CCF 青年人才发展计划、清华大学学术新人奖等。

论文简介：大模型所需计算成本高昂，而低精度、稀疏等高效训练推理方法均在原有计算基础上引入了近似，可能会引起精度损失。本报告将介绍近似梯度下降理论，该理论可以为高效的近似训练方法的收敛性、收敛速度提供理论保证。基于该理论，将分别介绍通过量化和稀疏两条技术路线设计的前馈神经网络计算加速、注意力计算加速、激活压缩、优化器压缩、通信压缩等高效训练推理算法。将从机器学习的角度出发，介绍高效训练的过程中遇到的训练不稳定等问题及克服方法。