低资源场景下的对话系统任务的模型定制课程简介：前往报名学习
用最少的语料训练生成模型是构建开放域对话系统的关键挑战之一。现有的方法倾向于使用元学习框架，首先预训练所有非目标任务的参数，然后在目标任务上进行微调。然而，微调的方法仅仅将不同任务从参数角度区分开来，却忽略了模型的结构，因此容易产生相似的对话模型。因此，我们提出了CMAML算法，可以为每一个对话任务定制一个独特的模型。在CMAML中，每个对话模型由一个共享模块、一个选通模块和一个私有模块组成。前两个模块是所有任务共享的，第三个私有模块具有独特的网络结构与参数，以捕捉相应任务的特征。训练中，不相似的任务网络结构没有重叠，相似的任务共享部分网络结构和参数，因此CMAML可以适用于低资源场景。在两个数据集上的实验表明，CMAML在任务一致性、回复质量和多样性方面都优于所有基线模型，且在低资源文本生成任务上具有较强的通用性。
播放：72次，课程ID：4238688
用最少的语料训练生成模型是构建开放域对话系统的关键挑战之一。现有的方法倾向于使用元学习框架，首先预训练所有非目标任务的参数，然后在目标任务上进行微调。然而，微调的方法仅仅将不同任务从参数角度区分开来，却忽略了模型的结构，因此容易产生相似的对话模型。因此，我们提出了CMAML算法，可以为每一个对话任务定制一个独特的模型。在CMAML中，每个对话模型由一个共享模块、一个选通模块和一个私有模块组成。前两个模块是所有任务共享的，第三个私有模块具有独特的网络结构与参数，以捕捉相应任务的特征。训练中，不相似的任务网络结构没有重叠，相似的任务共享部分网络结构和参数，因此CMAML可以适用于低资源场景。在两个数据集上的实验表明，CMAML在任务一致性、回复质量和多样性方面都优于所有基线模型，且在低资源文本生成任务上具有较强的通用性。
No list
北京大学信息科学技术学院2020届博士毕业生，导师为张铭教授。主要研究方向为自然语言处理和对话系统，已在相关领域的国际顶级会议如ACL, AAAI, IJCAI等发表多篇论文。