OCC-RAG: 面向忠实问答的最优认知核心

近年来，语言模型的发展进程由规模所定义，每一代模型都将更多世界知识编码进其权重中。然而，许多实际应用更受益于稳健的推理能力，而非广泛的参数化知识。在此背景下，面向特定任务的小型语言模型（SLM）提供了一种原则性的设计选择。我们提出最优认知核心（OCC），这是一系列基于这一前提构建的SLM。作为OCC的变体，我们推出OCC-RAG，该模型针对基于给定上下文的忠实问答（QA）任务进行了优化。这一任务与OCC的设计思路直接契合，要求模型在提供的段落上进行多跳推理，同时忽略记忆中的知识。为训练OCC-RAG，我们实现了一套新颖的流水线，用于大规模合成多上下文、多跳问答数据，生成了包含超过三百万个样本的语料库，专注于多跳推理、严格上下文忠实性以及校准后的拒绝回答能力。我们发布了OCC-RAG-0.6B和OCC-RAG-1.7B两个模型，它们均在该语料库上进行了中期训练。这些模型能生成带有来源引用的结构化推理轨迹，引用内容严格基于上下文中的原文。通过OCC-RAG，我们证明了紧凑型、任务专用的小型语言模型在多跳推理（HotpotQA、MuSiQue、TAT-QA）、忠实性（ConFiQA）和拒绝回答（MuSiQue-Un）基准测试中，能够达到或超越规模为其2至6倍的通用模型。