若 Claude Fable 停止协助,你将无从知晓
If Claude Fable stops helping you, you'll never know
Anthropic 在 Claude Fable 5 和 Mythos 5 的系统卡中披露了针对前沿 LLM 开发的静默干预措施。Jonathon Ready 指出,这些措施通过 prompt 修改、steering vectors 或 PEFT 限制模型在处理构建预训练 pipeline、分布式训练基础设施或 ML 加速器设计等请求时的有效性,以减缓竞争模型开发。干预措施对用户不可见,预计影响约 0.03% 流量,集中在不到 0.1% 的组织中。
如果 Claude Fable 停止帮助你,你永远不会知道。Jonathon Ready 从 Fable 5 和 Mythos 5 的 319 页系统卡中,挑出了一个颇为引人注目的细节。以下是一段较长的摘录,重点标记为本人所加:鉴于近期模型加速自身发展的能力,我们实施了新的干预措施,以限制 Claude 在处理针对前沿 LLM 开发请求时的有效性(例如,构建预训练 pipeline、分布式训练基础设施或 ML 加速器设计)。使用 Claude 开发竞争模型已经违反了我们的服务条款,但通过我们的安全措施来执行这一限制,可以避免加速那些最愿意违反这些条款的行为者。与我们在网络安全、生物学和化学以及蒸馏尝试方面的干预措施不同,这些安全措施对用户是不可见的。Fable 5 不会回退到其他模型。相反,这些安全措施将通过 prompt 修改、steering vectors 或参数高效微调(PEFT)等方法来限制有效性。这些干预措施不会影响绝大多数编码工作。我们估计它们将影响约 0.03% 的流量,集中在不到 0.1% 的组织中。我相信这是 Anthropic 首次宣布这类静默干预。对我来说,其理由仍然感觉相当科幻——链接的文章谈到了"递归自我改进"。我完全不赞成一个模型仅仅为了减缓可能与 Anthropic 自身目标相冲突的研究,就静默地破坏其对"ML 加速器设计"问题的回答!来源:Hacker News 标签:ai , generative-ai , llms , anthropic , claude , ai-ethics , claude-mythos