通过深度低秩残差蒸馏锁定预训练权重
Locking Pretrained Weights via Deep Low-Rank Residual Distillation
摘要
开放权重语言模型质量近年显著提升，共享权重促进了其在多样化硬件和软件平台上的采用，并支持用户作为检查点微调及重新分发。然而，对修改权重用于未经授权用途的担忧可能超过自由使用的好处。防御此类适应性修改并非易事，因模型具有适应性，相关挑战涉及技术、政策与安全层面。
近年来，开放权重语言模型的质量显著提升。共享权重极大地促进了模型的采用，使其能在多样化的硬件和软件平台上使用。同时，这也为更开放的研究和测试提供了可能，用户可以将这些模型作为检查点，根据需求进行微调，并可能重新分发。然而，在某些情况下，对修改这些权重以用于未经授权用途的担忧，可能超过了赋予用户这种自由的好处。防御此类适应性修改并非易事：因为一个具有适应性的……
译自 Apple · ML Research · 录于 二〇二六年八月七日