[EMNLP 2023] Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression

刘纪端关于基于检索进行知识迁移的模型压缩方法的论文《Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression》被EMNLP Findings 2023接收。

大规模预训练语言模型（LLMs）已经在各种自然语言处理任务中展现出非凡的性能。然而，这些模型庞大的体量对它们在实际应用中的部署提出了巨大挑战。虽然已经提出了许多模型压缩技术，但大多数并不适用于在模型规模存在显著差距的场景。在本文中，我们介绍了一种称为“检索式知识迁移”（RetriKT）的新型压缩范式，它可以有效地将LLMs的知识迁移至极小规模的模型（例如1%）。我们的方法从LLMs中提取知识以构建知识库，小规模模型可以从中检索相关信息，并利用它进行有效推理。为了提高模型的质量，我们采用了Soft Prompt微调和PPO强化学习算法。我们在SuperGLUE和GLUE基准上进行了大量实验，结果表明我们提出的方法通过利用LLMs的知识显著提升了小规模模型的性能。