DynaMiCS：使用动态混合在性能约束下微调LLM
DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures
摘要
DynaMiCS是一种将多领域微调转化为约束优化问题的动态混合优化器，旨在提升目标领域性能的同时保持通用知识、指令遵循或安全评估等受限领域表现。该方法通过短时领域特定探测运行估计局部斜率矩阵，以显式强制保留关键能力，替代了依赖固定或自适应启发式规则的现有数据混合策略。
大型语言模型的多领域微调需要在提升目标领域性能的同时，保持其在受限领域（如通用知识、指令遵循或安全评估）上的表现。现有的数据混合策略依赖固定启发式规则或自适应规则，无法显式地强制保留这些能力。我们提出 DynaMiCS，一种将多领域微调转化为约束优化问题的动态混合优化器。在每次更新时，DynaMiCS 执行短时的领域特定探测运行，以估计局部斜率矩阵……
译自 Apple · ML Research · 录于 二〇二六年七月八日