实验室动态

[ACL 2024] Learning to Represent with Natural Language

郭一铎关于利用自然语言优化实体表示的论文《Learning to Represent with Natural Language》被Findings of ACL 2024接收。论文提出了一种新型学习表示方法,通过增强检索器性能和优化实体表示,显著提升大型语言模型(LLM)的任务完成能力。该方法采用反馈驱动的迭代机制,自动新增和编辑实体的自然语言表示,旨在提高实体与任务的相关性并减少误报。实验结果表明,学习表示显著提升了检索器性能和大模型工具调用能力。例如在Hugging Face API任务中,仅检索器方案的性能为35,而加入学习表示后提升至68.4。在结合LLM选择后,Banking77任务的精度提升至91.2。此外,消融研究验证了关键步骤的重要性。我们发现在迭代10次、阈值设置为0.01时,模型性能达到最佳。实验中引入了多个基线方法进行对比,包括仅检索器、自动提示生成等。本文全面展示了该方法在分类任务和API调用任务中的优越性,为复杂任务中的自然语言表示优化提供了一种高效且可解释的解决方案。郭一铎关于利用自然语言优化实体表示的论文《Learning to Represent with Natural Language》被Findings of ACL 2024接收。论文提出了一种新型学习表示方法,通过增强检索器性能和优化实体表示,显著提升大型语言模型(LLM)的任务完成能力。该方法采用反馈驱动的迭代机制,自动新增和编辑实体的自然语言表示,旨在提高实体与任务的相关性并减少误报。实验结果表明,学习表示显著提升了检索器性能和大模型工具调用能力。例如在Hugging Face API任务中,仅检索器方案的性能为35,而加入学习表示后提升至68.4。在结合LLM选择后,Banking77任务的精度提升至91.2。此外,消融研究验证了关键步骤的重要性。我们发现在迭代10次、阈值设置为0.01时,模型性能达到最佳。实验中引入了多个基线方法进行对比,包括仅检索器、自动提示生成等。本文全面展示了该方法在分类任务和API调用任务中的优越性,为复杂任务中的自然语言表示优化提供了一种高效且可解释的解决方案。