微软14年AI老将离职,称创新难落地且降本研究未获考虑
资深AI科学家宣布离职
微软拥有超过14年工龄的AI科学家、AI Frontiers实验室联合创始人John Langford正式宣布离职。作为机器学习领域的资深研究者,他在上下文多臂老虎机等方向贡献显著,长期致力于利用不完整反馈改进系统决策的理论基础。此次离开主要源于内部研究路线的分歧。
团队重组引发理念冲突
Langford所在的约50人团队于今年9月经历调整,被并入Mustafa Suleyman领导的Microsoft AI部门。在重组过程中,双方在研究路线、创新落地渠道上存在较大分歧。Langford指出,扩大模型规模虽能改善预测效果且回报清晰,但他反对将其作为唯一核心,因为这会让工作重心过度集中在数据上,挤压探索新方法的空间。
全带宽Transformer研究争议
Langford个人倾向于创新研究,而Microsoft AI部门更偏重扩大模型规模。争议焦点在于他于今年8月发布的“全带宽Transformer”研究。该研究提出模型生成下一个词元时,不仅利用此前输出的词元,还会重新利用内部中间状态,从而减少信息浪费。在论文实验中,10亿参数模型以更少训练数据,就能接近或达到使用约1.5倍数据训练的常规模型表现,且每个词元增加的计算开销很小。
行业对标与降本视角
报道指出,字节跳动Seed团队在今年10月25日发布了采用类似思路的Recycler研究。该方法以类似方式重用隐藏状态,在推理和数学方面能超越参数多两到三倍的模型。Langford的离职反映出在AI领域,追求极致规模与探索高效创新之间的路线博弈,降本增效的研究在重视规模的部门中未获得足够重视。
离职背后的深层考量
Langford在离职声明中明确表示,离开的直接原因是看不到研究成果的实际应用路径,创新想法甚至难以获得认真考虑。这种内部机制的僵化可能导致技术团队活力下降,对于依赖持续创新的AI前沿领域,如何在规模化与探索性研究间取得平衡,成为微软等大厂亟需解决的难题。
来源:IT之家