程信关于大小模型协作的论文< SCALE: Synergized Collaboration of Asymmetric Language Translation Engines>被ACL 2024接收.

在本文中，我们提出了SCALE，一个创新的协作框架，它将一个紧凑的专用翻译模型（STM）与通用的大型语言模型（LLM）结合为一个统一的翻译引擎。通过将STM的翻译引入到三元组上下文示范中，SCALE激发了LLM的修饰和pivoting能力，从而1) 减轻了LLM的语言偏见和STM的并行数据偏见，2) 在不牺牲通用性的情况下增强了LLM的专业性，以及3) 以无需调整LLM的方式促进持续学习。我们的全面实验表明，SCALE在高资源或挑战性低资源环境中显著优于LLMs（GPT-4，GPT-3.5）和监督模型（NLLB，M2M）。此外，SCALE通过仅更新轻量级的STM并持续改进系统，平均在4种语言上提升了4 BLEURT分数，而无需调整LLM。有趣的是，SCALE还能有效地利用LLM的现有语言偏见，使用以英语为中心的STM作为枢纽，执行任何语言对之间的翻译，在八个翻译方向上平均优于GPT-4达6 COMET分。此外，我们还提供了对SCALE的鲁棒性、翻译特性、延迟成本和固有语言偏见的深入分析，为未来研究探索LLMs与更专业模型之间的潜在协同提供了坚实的基础。