LLM并非（始终）贝叶斯：量化LLM概率信念的内部（不）一致性
LLMs Are Not (Consistently) Bayesian: Quantifying Internal (In)consistencies of LLMs’ Probabilistic Beliefs
摘要
本研究将LLM（大型语言模型）视为信息处理规则，利用信息处理差距（即与贝叶斯更新的偏差）分析其在医学、科学、法律等复杂领域中基于证据更新概率性信念的内部一致性。实验评估了LLM在无单一正确答案场景下，从新证据中更新信念的偏差程度，揭示其与理性贝叶斯更新的偏离模式。
现代AI系统正被部署于医学、科学和法律等复杂领域，在这些领域中，基于观察到的证据往往不存在单一正确答案。此类系统必须能够表示并随新证据的到来更新对世界的不确定信念，以做出理性决策。我们引入了一种新颖的技术，将LLMs（大型语言模型）视为信息处理规则，并利用信息处理差距——即与贝叶斯更新的偏差——来研究LLMs如何从证据中更新其概率性信念的内部（不）一致性。我们广泛的实验评估了……
译自 Apple · ML Research · 录于 二〇二六年八月二十九日