- Levenshtein Transformer
这个模型基于 Transformer,运算量自然不小;但是进行序列变换的方法是插入和删除,正好适合于源序列和目标序列差别不大(即 Levenshtein Distance 较小)的情况,也即模型的能力和任务所需要的能力恰好匹配。
(当然该模型也可以用于源序列和目标序列差别较大的情况,不过这时候采用这种不断编辑源序列的方法不一定值当就是了。从文章的实验效果来看,即便在这种情况下 Levenshtein Transformer 效果也很好。)
- Non-Autoregressive Machine Translation with Auxiliary Regularization-2019
做Non-Autoregressive 翻译的