Unbiased Reasoning for Knowledge-Intensive Tasks in Large Language Models via Conditional Front-D...

文章总结与翻译

一、文章主要内容

该研究聚焦大型语言模型（LLMs）在知识密集型任务中的无偏推理问题，提出一种基于因果提示的新框架——条件前门提示（CFD-Prompting），具体内容如下：

1. 问题背景：LLMs虽在自然语言处理领域表现出色，但在需深度推理和外部知识整合的知识密集型任务中存在不足。现有方法如检索增强生成（RAG）、思维链（CoT）虽能增强LLMs对外部知识的利用，却仍受LLMs内部偏差影响，易产生错误答案。
2. 核心框架：CFD-Prompting借助条件前门调整，在外部知识条件下实现查询与答案间因果效应的无偏估计，同时减轻内部偏差。通过构建反事实外部知识，模拟查询在不同语境下的表现，解决查询固定且难以直接进行因果干预的难题。相较于标准前门调整，该条件变体基于更弱假设，提升推理过程的稳健性与泛化性。
3. 技术细节：
   • 构建反事实外部知识时，先让LLM识别与查询最相关的实体并分配权重，再生成实体的反事实替代项，进而构建反事实外部知识变体并分配概率。
   • 计算相关概率时，先生成思维链并编码聚类，利用对比学习微调编码器以对齐表示空间，通过余弦相似度判断语义一致性来计算条件概率，依据答案是否随外部知识变化计算另一种概率，最终结合这些概率得到查询对答案的因果效应。
4. 实验验证：在SciQ、HotpotQA、WikiHop、MuSiQue四个知识密集型数据集上，采用LLaMA-2