apple-ml-research

LaDiR：Latent Diffusion 增强 LLMs 的文本推理能力

LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning

二〇二六年五月八日 · 英文原文

摘要

本文提出 LaDiR（Latent Diffusion Reasoner）推理框架，用于现有 LLM。该方法构建结构化 latent reasoning space，结合连续 latent representation 与 latent diffusion models 的迭代优化，以缓解自回归 CoT decoding 难以整体修正早期 token、探索多样解法效率不足的问题。

Large Language Models（LLMs）通过生成 chain-of-thought（CoT）展现其推理能力。然而，LLM 的自回归 decoding 可能会限制其以整体方式重新审视和优化早期 token 的能力，也可能导致对多样化解法的探索效率不高。本文提出 LaDiR（Latent Diffusion Reasoner），这是一种新的推理框架，将连续 latent representation 的表达能力与 latent diffusion models 的迭代优化能力统一起来，并可用于现有 LLM。我们首先构建一个结构化的 latent reasoning space……

译自 apple-ml-research · 录于二〇二六年五月八日