神经机器翻译中的曝光偏差,幻觉翻译与跨域稳定性

神经机器翻译中的标准训练策略存在曝光偏差问题。即使已有研究提出缓解曝光偏差方法,但是曝光偏差造成的实际影响仍然存在争议。本文,我们将曝光偏差与神经机器翻译中另一个广泛讨论的问题,即跨域下产生幻觉翻译联系起来。通过三个数据集多个测试域的实验,我们证实曝光偏差是导致幻觉翻译的原因之一。使用最小风险训练模型,避免暴露偏差,即可减轻幻觉翻译。我们的分析实验解释了为什么曝光偏差在跨域的场景下会造成更严重的问题,并且证实了曝光偏差与束搜索矛盾问题(即增加搜索束宽性能恶化)之间的联系。本文的实验发现为减少暴露偏差的相关方法提供了一个新的佐证:即使它们不能提高域内测试集的性能,它们仍旧可以提高模型的跨域稳定性。

播放:47次,课程ID:5487667

神经机器翻译中的曝光偏差,幻觉翻译与跨域稳定性课程简介:前往报名学习

神经机器翻译中的曝光偏差,幻觉翻译与跨域稳定性课程简介:

神经机器翻译中的标准训练策略存在曝光偏差问题。即使已有研究提出缓解曝光偏差方法,但是曝光偏差造成的实际影响仍然存在争议。本文,我们将曝光偏差与神经机器翻译中另一个广泛讨论的问题,即跨域下产生幻觉翻译联系起来。通过三个数据集多个测试域的实验,我们证实曝光偏差是导致幻觉翻译的原因之一。使用最小风险训练模型,避免暴露偏差,即可减轻幻觉翻译。我们的分析实验解释了为什么曝光偏差在跨域的场景下会造成更严重的问题,并且证实了曝光偏差与束搜索矛盾问题(即增加搜索束宽性能恶化)之间的联系。本文的实验发现为减少暴露偏差的相关方法提供了一个新的佐证:即使它们不能提高域内测试集的性能,它们仍旧可以提高模型的跨域稳定性。

前往报名学习

神经机器翻译中的曝光偏差,幻觉翻译与跨域稳定性课程目录:

No list

No list

神经机器翻译中的曝光偏差,幻觉翻译与跨域稳定性授课教师:

王朝君-爱丁堡大学信息学院科研助理-爱丁堡大学-

爱丁堡大学信息学院科研助理,导师为Alexandra Birch。主要研究方向神经机器翻译,已在相关领域的国际顶级会议ACL发表论文。

© 柠檬大学 2020