[ACL 2023] Analyzing and Reducing the Performance Gap in Cross-Lingual Transfer with Fine-tuning Slow and Fast

郭一铎关于研究精调跨语言模型的遗忘问题的论文《Analyzing and Reducing the Performance Gap in Cross-Lingual Transfer with Fine-tuning Slow and Fast》被ACL 2023接收。

已有研究表明，使用一种（源）语言对多语言预训练语言模型进行微调后，即使没有对这些语言进行微调，该模型在非源语言的下游任务中也表现良好。然而，源语言和非源语言之间的性能差距明显。本文分析了微调过程，发现了不同语言之间表现差距何时发生变化，并确定了哪些网络权重对整体性能影响最大。此外，本文旨在回答通过减少遗忘程度来多大程度上可以缩小差距。基于分析结果，本文提出了一种名为精调慢与快的方法，其中包括四个训练策略，以解决不同语言之间的差距。实验结果表明，所提出的方法优于基线。