[ACL 2023] Decouple knowledge from paramters for plug-and-play language modeling

程信将预训练语言模型中模型参数和知识进行分离的论文《Decouple knowledge from paramters for plug-and-play language modeling》被ACL2023接收。

预训练语言模型在训练过程中会隐式地将知识存储在模型参数之中.然而,这种知识编码方式存在两个根本的缺陷,第一,在模型完成训练之后,其中的知识是固定的,缺乏可扩展性和可编辑性.第二, 隐式编码的方式缺乏可解释性,它让神经网络调用知识的过程成为了一个黑盒. 在这篇文章中,我们首次提出一个将模型知识和参数进行分离的办法. 我们利用一个可微分可插拔的记忆模块来取代预训练语言模型中用于存储参数的前馈神经网络层,通过训练让模型学会在外部可扩展可编辑的键值向量数据库中进行选择, 以一种无须训练的方式让模型具有领域迁移,知识更新的能力.