1. Levenshtein Transformer
    这个模型基于 Transformer,运算量自然不小;但是进行序列变换的方法是插入和删除,正好适合于源序列和目标序列差别不大(即 Levenshtein Distance 较小)的情况,也即模型的能力和任务所需要的能力恰好匹配。
    (当然该模型也可以用于源序列和目标序列差别较大的情况,不过这时候采用这种不断编辑源序列的方法不一定值当就是了。从文章的实验效果来看,即便在这种情况下 Levenshtein Transformer 效果也很好。)

  1. Non-Autoregressive Machine Translation with Auxiliary Regularization-2019
    做Non-Autoregressive 翻译的