冯家展关于增强大模型逻辑推理能力的论文《Language Models can be Deductive Solvers》被NAACL 2024 Findings接收。

逻辑推理是人类智能的基本方面，也是解决问题和决策等任务的关键组成部分。最近的进展使大型语言模型（LLM）能展示一定的推理能力，但复杂的逻辑推理仍然是一个挑战。最先进的、求解器增强的语言模型，使用LLM首先将自然语言逻辑问题解析为符号表示，然后采用外部逻辑求解器来处理符号表示并输出答案。尽管它们表现出色，但任何解析错误都会不可避免地导致外部逻辑求解器执行失败，从而无法回答逻辑问题。在本文中，我们介绍了LoGiPT，一种新颖的语言模型，它直接内化并模拟逻辑求解器的推理过程，通过学习严格遵守求解器的语法和语法，避免解析错误。LoGiPT在一个新构建的指令调整数据集上进行了微调，该数据集通过揭示和完善演绎求解器的隐形推理过程而得。实验结果表明，LoGiPT在两个公共演绎推理基准上优于最先进的求解器增强的语言模型和像GPT-4这样强有力的LLM的少样本提示推理的方法。