[ICASSP 2025] Towards Detecting LLMs Hallucination via Markov Chain-based Multi-agent Debate Framework
孙晓希的关于多智能体幻觉检测的论文《Towards Detecting LLMs Hallucination via Markov Chain-based Multi-agent Debate Framework》被ICASSP 2025接收。
面向生成式大语言模型的“事实幻觉”检测问题提出一套基于 Markov 链的多智能体辩论验证框架。整体流程遵循事实核查范式:首先通过 Claim Detection 从长文本回答中切分出若干原子陈述;然后基于这些陈述构造查询,在外部知识库或互联网中进行 Evidence Retrieval;最后进入 Multi-agent Verification 阶段,由多个具备不同角色的 LLM Agent 围绕同一陈述与证据展开多轮辩论,从而判断该陈述是否存在幻觉。在多智能体验证阶段,设计Trust、Skeptic 与 Leader 三类角色,并将其交互过程建模为一个 Markov 链:根据上一轮的判决结果,系统在两种讨论模式(Trust→Skeptic→Leader 与 Skeptic→Trust→Leader)之间进行状态转移,直到三者达成共识或达到轮数上限。该框架在 KB-QA、对话与摘要三个任务上的实验表明,相比 Factool、Self-Check、HaluEval few-shot 等基线,该方法在总体准确率上取得了稳定提升。

王选计算机研究所