[ACL 2021] Exploring Distantly-Labeled Rationales in Neural Network Models

根据人类的先验知识，我们能找到一些关键词来辅助模型对特定任务的学习，例如情感分类任务中的情感词等。要求标注者对数据集中所有的样例逐个标注关键词是非常繁琐且耗费巨大的工作，因此，通常情况下，我们会构建一个关键词表，然后利用远监督的方法来标注关键词。然而，远监督标注的关键词，并不是完美的，存在漏标或者错标的情况。为了更好的利用远监督标注的关键词，本文提出了两种辅助损失函数，鼓励模型关注远监督标注的关键词以外的重要信息，并且防止模型对没有帮助的关键词的过度训练。