[ACL 2023] The Magic of IF: Investigating Causal Reasoning Abilities in Large Language Models of Code

刘潇等同学关于利用预训练代码模型进行因果推断的论文《The Magic of IF: Investigating Causal Reasoning Abilities in Large Language Models of Code》被ACL 2023 Findings接收。

因果推断，即识别事件之间因果关系的能力，是人类思维的重要组成部分。尽管预训练语言模型在许多自然语言处理任务中取得了成功，但对它们来说，进行复杂的因果推理（如归纳推理和反事实推理）仍然是一个挑战。鉴于代码中常有明确表达因果关系的条件语句，如if语句，本文探索预训练代码模型是否获得了更好的因果推理能力。我们的实验表明，与纯文本的预训练语言模型相比，预训练代码模型通过代码提示（code prompt），在因果推断任务中的表现显著更好。

我们进一步从不同方面对代码提示进行干预，发现代码结构（如条件结构或顺序结构）在代码提示设计中至关重要，而代码格式上的扰动对预训练代码模型的影响较小。