许钊澎关于连续学习的论文《Disentangled Representations for Continual Learning: Overcoming Forgetting and Facilitating Knowledge Transfer》被ECML-PKDD 2024接收。

连续学习是指模型在连续学习多个任务的过程中，学习新任务的同时保留之前学过的知识。连续学习中主要的挑战是灾难性遗忘，而实现任务之间的知识迁移也逐渐受到研究者的关注。在本文中，我们提出基于特征分解的方法DCL来同时克服灾难性遗忘与实现任务之间的知识迁移。我们使用任务共享编码器与任务特定编码器来分别获取任务共享特征表示与任务特定特征表示。针对任务共享编码器，它仍然存在灾难性遗忘的问题，我们提出费雪遮蔽来使用费雪信息量来衡量模型中参数对旧任务的重要程度，进而限制对旧任务重要的参数的更新幅度；同时，我们提出多知识蒸馏，让任务共享编码器同时学习所有的任务特定编码器中的知识，回顾旧任务的知识，减少遗忘。针对任务特定编码器，它没有实现任务之间的知识迁移，因此我们提出知识选择策略来从所有旧任务的任务特定编码器中选择对当前任务有利的知识才初始化当前任务的任务特定编码器；其次，我们提出知识迁移注意力机制，来融合所有任务特定编码器的知识，获取知识迁移特征表示。最终融合任务共享特征表示、任务特定特征表示与知识迁移特征表示来输入到分类器中进行分类任务。实验结果显示，我们提出的DCL方法在多个图像分类数据集上的连续学习性能超越近年来的连续学习基线方法，并且占用更少的存储空间。