Facebook 的使命是让世界变得更加开放，让每个人都能以最高的准确性和最快的速度使用自己喜欢的语言来发帖子和影片互动，语言翻译对此十分重要。
10 日，Facebook 的人工智能研究团队发表了他们的研究成果 Fairseq，使用一种新型卷积神经网络做语言翻译，比循环神经网络的速度快了 9 倍，且准确性也是现有模型中最高的。此外，FAIR 序列建模工具包的源代码和训练好的系统都已经在开源平台 GitHub 上公布，其他的研究者可以在此基础上建立自己的关于翻译、文本总结和其他任务的模型。
为什么选择卷积神经网络？
卷积神经网络在数十年前由 Yann Lecun 提出，已经在诸如图像处理之类的领域取得了成功。循环神经网络却是文本领域的现有技术，并且由于其极高的效率而成为语言翻译的首选。
尽管循环神经网络以前在语言翻译上比卷积神经网络表现更好，但是其设计具固有的局限性，这可以透过它们怎么处理资讯来理解。电脑一句一句翻译一个文本，然后预测另外一种语言具有相同意思的单词序列。循环神经网络以严格的从左到右或从右到左运算，一次处理一个单词。这和现在高度并行的 GPU 硬件有点不符合。由于单词只能一个接着一个进行处理，计算不能完全并行。而卷积神经网络可以同时计算所有的元素，充分利用 GPU 的并行性。CNN 的另一个优点是它对信息进行分层处理，这可以更容易获得数据之间的复杂关系。
雷锋网获悉，在先前的研究中，卷积神经网络在翻译任务上的表现要差于循环神经网络。然而，由于卷积神经网络架构上的潜力，FAIR 开始研究，发现所设计的翻译模型显示了 CNN 在翻译方面的优异性能。CNN 优异的计算性能将有可能会扩展可翻译的语言，将包括全球 6,500 种语言。
最快最好的结果
Facebook 团队的结果表明，在广泛应用的标准测试数据集（WMT 会议提供）上，其比 RNN 表现更好。尤其是卷积神经网络比先前在 WMT 发表的结果都要好。在英语─法语任务上提高了 1.5 BLEU，在英语─德语任务上提高了 0.5BLEU，在 WMT 2016 的英语─罗马尼亚语任务上，提高了 1.8BLEU。
对神经机器学习实际应用考虑的一个方面在于翻译一个句子所需要的时间。FAIR 的卷积神经网络模型计算相当快速，比循环神经网络快整整 9 倍。许多研究都透过量化权重或其他方法来加速神经网络，这也同样可以用于卷积神经网络。
用多跳注意和门控来获得更好的翻译效果
团队的架构重要部分就是多跳注意。注意力的机制类似一个人在翻译句子的时候会把句子分开翻译，而不仅看一次句子然后直接写下完整的翻译。设计的网络会重复扫描句子来决定要翻译的下一个单词。多跳注意是这种机制的加强版，让网络更多扫描句子产生更好的结果。每一次扫描间都相互影响。举个例子，第一次扫描会注意到一个动词，然后第二次扫描会注意到相关联的助动词。
在下面这幅图中，Facebook 团队展示了一个系统是怎么阅读法语短语然后再翻译成英语。首先，用卷积神经网络生成每个法语单词的对应向量，在此同时进行计算。然后解码的 CNN 再生成对应的英语单词。每一步都扫描一下法语单词，看一下哪些词语与下一个要翻译的英文单词关系最密切。在解码器中有两层，下面的动画说明了每层的注意力机制是怎么完成的。绿线的强度表现网络对每个法语单词的注意力。当网络训练好之后，也就可以翻译了，英文单词的计算也可以同时进行。
系统的另一个方面是门控，其控制神经网络里的讯息流。在每个神经网络中，讯息都流过所谓的隐藏单元。门控机制精确控制传向下一单元的讯息，一个好的翻译才因此产生。例如，当预测下一个单词的时候，网络会把前面的翻译部分考虑进去。门控允许翻译放大特定方向──这一切都取决于网络认为其在上下文中合不合适。
以后的发展
这种方法是机器翻译的一种替代框架，也给其他文本处理任务提供新思路。例如，多跳机制在对话系统中允许网络注意对话的不同部分。例如对两个没有联系的事实，可以把它们联系在一起，以回答复杂的问题。
- A novel approach to neural machine translation
（本文由 雷锋网 授权转载，图片来源：Facebook）
延伸阅读：
- 一分钟看懂 Facebook、Nvidia 的这场“AI 联姻”
- AI 已大量渗入广告服务与金融，扩大数据使用权是国际大厂布局关键
