张晨关于大模型的低资源语言学习的论文《Teaching Large Language Models an Unseen Language on the Fly》被ACL 2024 Findings接收。

现有的大语言模型难以支持大量低资源语言，尤其是资源极其匮乏的语言，因为这些语言的训练数据极少，无法有效更新模型参数。因此，我们研究大模型是否能够仅通过提示即时学习一门新语言。为了研究这个问题，我们为一门目前没有大模型支持的语言——壮语收集了少量研究数据。我们提出了 DiPMT++框架，通过上下文学习将大模型适应未见语言。仅使用一本词典和五千条平行例句，DiPMT++ 就显著提高了 GPT-4 的汉壮翻译性能，从 0 BLEU 提高到 16 BLEU。我们还验证了该框架对另一种未知语言 Kalamang 的有效性。此外，我们展示了 DiPMT++ 在帮助非母语者翻译完全未知语言方面的实用性，展现出这一框架在保护语言多样性方面的潜力。