Intern-MemDec-4B

简介

我们推出 Intern-MemDec-4B，一个用于扩展 Intern-S2 主干模型特定领域知识与能力的记忆解码器（memory decoder）。它是一个辅助模型组件，而非独立的语言模型：在推理时，Intern-S2 主干与记忆解码器并行处理相同的上下文，同时一个轻量级的 token 级路由器动态地组合两者的预测结果。

科学知识具有长尾分布且持续演进的特点。一个固定的后训练基础模型无法完全覆盖每个专业子领域、任务协议或新出现的发现。为每个领域更新整个主干模型也可能干扰其通用推理、指令遵循、多模态和智能体（agentic）能力。Intern-MemDec-4B 提供了一种模块化的领域扩展机制。Intern-S2 主干保持不变，作为主要推理引擎，而附加的记忆模块在有用时提供额外的生物学知识和重复出现的任务模式。

Intern-MemDec-4B 通过将基于检索的领域证据压缩为可复用的参数化模块进行训练。在推理时，它不需要访问原始的检索数据存储。

重要提示： Intern-MemDec-4B 并非设计为可独立加载或使用的聊天模型。它必须与兼容的 Intern-S2 主干以及相应的融合配置或路由器一起部署。

特性

• 模块化领域扩展。 Intern-MemDec-4B 在不更新 Intern-S2 主干参数的情况下增加特定领域的知识和任务能力。通过将领域适配转变为记忆附加而非主干重写，它提供了一种实用的方式，为通用科学基础模型注入 DNA、RNA、蛋白质和生物分子相互作用方面的专业知识，同时保持原始主干不变。
• 保持通用能力的自适应融合。 Intern-S2 主干与生物学记忆并行处理相同的解码上下文，一个轻量级的 token 级路由器动态决定它们对每个下一个 token 预测的贡献。记忆分支可以增强对生物学相关输入的专业预测，而主干在通用推理、指令遵循、事实知识、多模态理解和智能体任务中保持主导地位，从而减少对模型原有能力的干扰。
• 可复用且可扩展的参数化记忆。 领域证据被压缩为可复用的参数化模块，因此在线推理不需要原始的检索数据存储。训练完成后，可以使用匹配的路由器或融合配置将记忆附加到兼容的 Intern-S2 主干上。同样的方法也可以应用于其他目标领域的最新数据，使独立训练的记忆能够随着科学领域的发展持续引入新的知识和能力。

工作原理

在每个解码步骤中，Intern-S2 主干和 Intern-MemDec-4B 接收相同的输入上下文，并独立产生下一个 token 的预测。一个轻量级路由器检查两个分支的信号，并决定每个分支对最终预测的贡献程度。

对于生物学相关的输入，路由器可以增加记忆分支的贡献以增强专业预测。对于通用或无关的输入，它可以保持主干的主导地位，从而保留原有的推理、指令遵循、事实、多模态和智能体行为。因此，新的领域能力可以作为独立训练、即插即用的记忆来添加，而无需反复进行全模型微调。

记忆解码器架构

性能

我们使用 Intern-S2-Preview-397B 在 Biology-Instructions 的全部 21 个任务上评估了 Intern-MemDec-4B。附加的生物学记忆将平均分从 56.92 提升至 60.32（+3.40 分）。技术报告中的评估还显示，在通用和多模态基准测试上能力概况大致相当，支持了记忆解码器作为领域扩展接口、同时保持基础模型通用行为的预期用途。

Biology-Instructions 与跨领域能力雷达图

Biology-Instructions

所有分数均以 0–100 分制报告。

领域覆盖

本次发布仅涵盖生物学领域。其训练和评估聚焦于涉及 DNA、RNA、蛋白质和生物分子相互作用的生物序列理解与预测任务。代表性的任务族包括：

• DNA 属性、增强子活性和转录因子预测；
• RNA 修饰、异构体、调控和相互作用预测；
• 蛋白质功能、溶解度、稳定性、荧光和热稳定性预测；
• 抗体-抗原及其他多序列生物分子相互作用任务。

Intern-MemDec-4B 不应被理解为覆盖所有科学学科的通用记忆。要将 Intern-S2 扩展到其他领域，可以使用该目标领域的最新高质量数据训练一个独立的记忆解码器。由此产生的记忆可以将新的领域知识和专业能力注入主干，而无需重写主干参数。这使得记忆接口适用于随着科学数据和任务需求演进而进行的持续领域扩展。

快速开始

我们建议使用 LMDeploy（>= 0.15.0）来部署模型套件——internlm/Intern-S2-Preview-397B-FP8 LLM 和 internlm/Intern-MemDec-4B 记忆模型。

pip install "lmdeploy>=0.15.0"

在 4× H200 GPU 上，使用以下命令启动服务：

lmdeploy serve api_server internlm/Intern-S2-Preview-397B-FP8 \
  --backend pytorch \
  --tp 4 \
  --trust-remote-code \
  --hf-overrides '{"memory_model_path": "internlm/Intern-MemDec-4B"}'

服务默认在 http://0.0.0.0:23333 暴露 OpenAI 兼容 API。使用以下命令查询：

curl http://localhost:23333/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "internlm/Intern-S2-Preview-397B-FP8",
    "messages": [{"role": "user", "content": "<PROTEIN> GSSGSSGPSKFIEGLRNEEATEGDTATLWCELSKAAPVEWRKGHETLRDGDRHSLRQDGSRCELQIRGLAVVDAGEYSCVCGQERTSATLTVRALPARFIESGPSSG </PROTEIN> What is the EC number associated with the enzymatic function of this protein? Please put the final enzyme within \\boxed{} using an EC number such as ECx.x.x.x, and separate multiple entries with commas."}]
  }'

对于此示例，模型返回预测的酶类别：

\boxed{EC2.7.11.-,EC2.7.11.1}

兼容性

• Intern-MemDec-4B 必须通过支持记忆解码器的推理运行时与受支持的 Intern-S2 主干一起使用。目前，Intern-S2-Preview-397B 是唯一受支持的主干。
• 尽管记忆检查点被设计为可跨兼容的主干规模复用，但自适应路由器依赖于所选的主干-记忆对。请仅使用为该组合明确发布的路由器或融合配置。

引用

@misc{wang2026memsftmitigatingalignmenttax,
      title={MemSFT: Mitigating Alignment Tax with an External Parametric Memory}, 
      author={Jiarui Wang and Xiang Shi and Jiaqi Cao and Rubin Wei and Xiquan Wang and Hao Sun and Jingzhi Wang and Zhiqi Yang and Qipeng Guo and Bowen Zhou and Zhouhan Lin},
      year={2026},
      eprint={2607.25614},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2607.25614}, 
}
@article{cao2026memory,
  title={Memory decoder: A pretrained, plug-and-play memory for large language models},
  author={Cao, Jiaqi and Wang, Jiarui and Wei, Rubin and Guo, Qipeng and Chen, Kai and Zhou, Bowen and Lin, Zhouhan},
  journal={Advances in Neural Information Processing Systems},
  volume={38},
  pages={115487--115510},
  year={2026}
}