[ACL2023] From the One, Judge of the Whole: Typed Entailment Graph Construction with Predicate Generation
       陈智斌关于使用预训练语言模型中的知识生成蕴含图谓词结点并构建蕴含图的论文《From the One, Judge of the Whole: Typed Entailment Graph Construction with Predicate Generation》被ACL 2023接收。
       自然语言推理（Natural Language Inference，NLI）是自然语言处理领域的一个重要任务，需要从自然语言描述的前提条件出发，通过合理的逻辑推理达到所需的目标假设。自预训练语言模型（PLM）出现以来，大多数NLI任务都使用成对的前提条件与目标假设直接输入PLM，以期得到蕴含关系的分类结果及相应分数。这类方法受限于PLM本身的黑箱（black-box）性质，可解释性较差，并且依赖于成对的前提-假设输入，在只提供前提条件的广泛推理场景下无法正常工作。因此，近年来的一些工作提出了蕴含图（Entailment Graph，EG）结构，即以二元关系谓词作为结点，以谓词之间彼此蕴含的关系作为边的图结构。使用EG来进行蕴含推理可以将推理过程具象化为图结构上的链路，从而有效地提高模型的可解释性，并且通过前提条件与图中谓词结点的匹配，可以进行无目标假设的自由推理。早期的构建EG的方法主要基于分布式包含假设（DIH），通过对语料中谓词与实体对的共现统计出特征向量，进而计算谓词之间的相似度作为蕴含关系的概率，即边权重。基于统计的方法受到语料的严重限制，往往存在数据稀疏等问题，无法处理语料中没有出现的谓词。在本文中，我们提出了一个基于PLM的三阶段EG生成方法（TP-EGG）。首先，我们不使用语料中的谓词，而是从若干个种子谓词出发，使用生成式PLM生成大量对应领域的其他谓词；其次，我们使用特别设计的谓词嵌入表示方法，将每个谓词表示为高维空间中的球形结构，并通过覆盖运算确定哪些谓词对可能存在蕴含关系，这一步运算保证了图上蕴含关系在一定程度上遵守传递性；最后，对于可能存在的蕴含关系，我们使用PLM进行蕴含概率的计算。实验结果表明，我们的方法不需要额外提供语料来抽取谓词，同时在多个数据集上都能得到比基于语料的EG构建方法更好的性能。