IDEA Prune：生成式语言模型预训练中的集成扩增-剪枝流程
IDEA Prune: An Integrated Enlarge-and-Prune Pipeline in Generative Language Model Pretraining
摘要
本文研究将模型预训练扩大纳入结构化剪枝流程，提出“扩大并剪枝”整体系统，探讨扩大模型预训练（即使不部署）的价值及优化方法。相比从头训练目标规模模型，该流程在token效率上更具潜力，旨在有限推理预算内获得高效可部署模型。
近年来，大型语言模型的进展加剧了在有限推理预算内对高效、可部署模型的需求。与从头训练目标规模模型相比，结构化剪枝流程在token效率方面显示出潜力。本文主张将扩大模型预训练（此前工作中常被忽视）纳入剪枝流程。我们将“扩大并剪枝”流程作为一个整体系统进行研究，以解决两个关键问题：即使扩大后的模型从未部署，预训练它是否值得；以及如何优化……
译自 Apple · ML Research · 录于 二〇二六年八月二十七日