Breaking the Trade-Off Between Faithfulness and Expressiveness for Large Language Models

文章总结与翻译

一、文章主要内容

本文聚焦大型语言模型（LLMs）在融合外部知识时面临的“忠实性-表达性权衡”问题——现有模型要么生成内容缺乏外部知识支撑（损害忠实性），要么过度冗余、生硬（牺牲表达性）。为解决该问题，作者提出协同解码（CoDe）框架，通过动态融合“含外部知识”与“不含外部知识”的输出概率分布，并结合知识感知重排序机制，在无需额外训练、模型或生成成本的前提下，实现忠实性与表达性的同步提升。

1. 核心问题

• 幻觉现象：LLMs因知识边界有限、长尾知识覆盖不足、参数知识过时等问题，易生成看似合理但不符合事实的内容。
• 外部知识增强的局限性：检索增强生成（RAG）等方法虽能缓解幻觉，但存在两大问题：一是生成内容与外部知识矛盾或缺乏支撑；二是知识整合生硬，回复交互性差、冗余（如直接复制知识片段，忽略用户对话意图）。
• 解码策略的固有权衡：确定性解码（如贪心搜索、束搜索）忠实性高但表达性差；随机性解码（如top-k、核采样）提升多样性但增加幻觉风险。

2. CoDe框架核心组件

（1）自适应双流融合

• 双流分布生成：分别生成“表达性导向流”（仅基于对话上下文，依赖模型内部参数知识）和“忠实性导向流”（基于上下文+外部知识，依