[ACL 2023] Class-Incremental Learning based on Label Generation

邵奕佳关于用标签生成框架解决类增量学习的论文《Class-Incremental Learning based on Label Generation》被ACL 2023接收。

持续学习能力是人类智能的重要标志，其对于构建能积累知识并不断增强的人工智能系统也至关重要。在持续学习的研究中，类增量学习是一个最具挑战性的设定。类增量学习的目标是构建一个能不断学习新类别的系统，这不仅要求模型在持续学习过程中克服对过去已学到类别的遗忘问题，还要求模型在没有旧训练数据的情况下建立新学习类别和已学到类别的决策边界。

在自然语言处理领域，随着预训练语言模型的迅速发展，先进的系统一般基于这些模型构建，但如何在预训练模型的基础上实现持续学习仍是一个非常困难的问题。本文研究发现，将类增量学习建模成持续的标签生成学习可以大幅提升预训练语言模型在该学习设定下的表现。通过定量研究我们进一步发现，生成式的训练目标可以缓解预训练语言模型在微调阶段的表征崩塌，即可以更大限度地保留预训练语言模型表征的泛化能力，从而保留其持续学习新类别的能力。在使用标签生成框架的基础上，我们设计了VAG系统。VAG系统利用了自然语言词表固有的稀疏性，通过我们设计的词表感知生成损失(vocabulary-aware label generation loss)来缓解灾难性遗忘问题；该系统也利用标签语义进行伪样本重放（label-based pseudo replay）以进一步提升持续学习效果。在5个公开数据集上的实验结果证明了VAG系统的有效性，我们的算法将于https://github.com/shaoyijia/VAG开源