Chen Zhang, Mingxu Tao, Quzhe Huang, Zhibin Chen, Yansong Feng. “Can LLMs Learn a New Language on the Fly? A Case Study on Zhuang” ICLR 2024 Tiny Papers Track
现有的大型语言模型（LLM）仍然无法支持众多的低资源语言，特别是对于极低资源语言，缺少足够的训练数据来有效更新模型参数。本文研究LLM是否可以通过上下文学习提示即时学习一门新的低资源语言。 为了研究这个问题，本文收集了一个小型的壮语平行语料库，并测试了不同LLM在壮汉翻译任务上的表现，展示了即时学习这一新范式的巨大潜力。