中学生能看懂：论文《Attention Is All You Need》

原文地址：https://mp.weixin.qq.com/s/AsXudqwzgGAw3mfa6zinmQ

公众号：赛博禅心

作者：金色传说大聪明

写在前面

•
开一个新坑，叫做「中学生能看懂」系列，把晦涩的行业论文，用「中学生能看懂」的语言来讲解​

•
这是第一篇：《Attention Is All You Need》 。这篇论文可以说是自然语言处理领域的一个里程碑，它引领了 NLP 模型架构的变革，并对各种 NLP 任务产生了深远的影响。​

•
Powered by 「大聪明 GPT」​

想象一下，你处在一个充满来自世界各地人们的房间里，他们每个人都用自己独有的语言交谈。你渴望和他们分享故事、笑话，也希望从他们身上学到东西。但问题是，你听不懂他们在说什么。这时候，机器翻译就像一把神奇的钥匙，能够让你的话语瞬间转换成他们的语言，他们的话也同样转换成你的语言，从而让大家畅所欲言。这不仅仅像科幻电影中的通用翻译器那样神奇，而且它确实存在，并且每天都在进步！​

机器翻译就像一座架在不同语言之间的桥梁，使世界各地的人们能够相互交流。它不仅帮助企业拓展市场，也支持游客在异国他乡的旅行，甚至让我们能欣赏那些我们未曾学习过语言的电影或书籍。可以说，机器翻译是打开通向全球社区大门的关键。​

在这个充斥着计算机和互联网的时代，机器翻译的重要性日益增加。无数信息和想法在全球范围内传播，能够理解这些用不同语言表达的信息和想法，显得尤为重要。对你们这些学生来说，这尤其有趣，因为通过翻译技术，你们可以了解从埃及金字塔的神秘故事到最新日本电子游戏的发布等各种知识。​

你可能会好奇，计算机是如何实现语言之间的转换的。长期以来，计算机使用的方法有点像我们在学校解决问题的方式。想象一下，当你面对一个复杂的数学方程时，你会一步步地解决，先完成一个部分，再处理下一个。这正是旧式翻译系统的工作方式。它们会分析一句话，将其分解，然后像拼图比赛中的选手一样，耐心地一块一块拼凑起来。​

但现在，一种新的方法出现了，它正在改变机器翻译的世界。这就是所谓的“Transformer model”，它的出现就像从骑自行车跃升为驾驶超快速的电动车。它不仅速度更快，更加智能，而且能够应对复杂的短语和长句。​

Transformer model 采用了一种称为“attention mechanism”的特殊技术。这种技术使得计算机能够一次性全面地审视整个句子，识别出哪些词汇是相互关联的，哪些词汇只是附带出现的。这就像当你阅读一本书时，不是逐行阅读，而是能够一眼看到整页内容，立刻识别出关键部分，解开谜题的线索。​

本文将深入探讨这个令人称奇的 Transformer model，探索它是如何彻底改变机器翻译领域的。这就像走进一个沟通障碍正在逐渐消失的世界，每个人都有机会被听到和理解。那么，让我们一起踏上这场语言的未来之旅，在这里，注意力就是你所需要的全部！​

计算机翻译的传统方式

让我们时光倒流，回顾一下在“Transformer model”横空出世之前，计算机是如何进行语言翻译的。在那个时代，计算机使用了名为循环神经网络（RNNs）和卷积神经网络（CNNs）的技术。这两者都是计算机用来处理不同语言对话的高级工具。​

首先来说说 RNNs。想象一下，你和朋友们在玩耳语传话游戏，你将一条消息小声告诉旁边的人，然后他们继续传递下去。RNNs 的运作方式与此类似。它们接收一个单词或部分句子，进行处理，然后将这些信息用于理解下一个单词。这个过程一直重复，直到整个句子被处理完毕。它们像是在一次次轻声细语中帮助我们理解句子的小帮手。​

但 RNNs 也存在一个小问题，那就是它们容易健忘。就像在耳语传话游戏中，最初的信息在传到最后一个人时可能已经变样或消失。这意味着，当 RNNs 尝试翻译长句时，可能会在抵达结尾时忘记开头的内容。当我们需要完整的句子来准确翻译时，这无疑是个问题。​

现在，我们来关注一下 CNNs。想象你有一堆图片卡片，你通过一个只能显示一张卡片的小窗口来查看它们。你移动这个窗口，观察卡片堆的不同部分，以理解整个画面。CNNs 采用了类似的方法来处理句子，它们在单词或短语间滑动，试图发现其中的模式，就像在抽屉里找寻成对的袜子一样。它们擅长识别语言中的结构和形式，比如辨别问题句和陈述句的区别。​

CNNs 比 RNNs 更加迅速，因为它们能同时观察多个单词，但在处理特别长的句子时仍有难度。这就好比通过一个小窗口去观察整个连环画，你可能能一次看到几个格子，但无法一眼看完整个故事。​

这些传统的模型曾在翻译方面有过一段辉煌的时光。它们就像第一代视频游戏，那时引领风潮，令人兴奋。但正如游戏界随着时间的推移变得更加精彩和复杂，机器翻译技术也在不断进步。这就是我们的新明星，“Transformer model”的舞台。它可以观察整个句子，理解单词之间的联系，并且不需要逐个传递信息或透过窗口窥视，就能捕捉到完整的故事。这使得语言翻译不仅更加迅速，而且更精准——这可谓是真正的革命性变革！​

认识 Transformer 模型

设想你正处在一个浩瀚的图书馆中——这里藏书涵盖了世界上各种各样的语言。现在，将 Transformer 模型想象成一个超级智能的图书馆管理员。这位管理员非同一般，因为他能够同时阅读并理解所有的语言。​

在我们之前的计算机翻译方法中，我们的“图书馆管理员”需要逐本逐本地处理每一本书，阅读它，理解它，然后翻译它，才能继续下一本。这个过程就像是摆放一排多米诺骨牌：必须处理完一本书，才能拿起下一本。如果你有一句特别长的话或者一个复杂的想法，你可能需要等待很久才能得到翻译。​

现在，让我们转向我们的 Transformer 图书管理员。他们拥有一种特殊技能，可以同时查看你的所有书籍。他们无需一本本地翻阅，因为他们可以不按顺序地同时看到所有故事之间的联系。这位管理员能够一眼就理解一段文字的上下文、对话的细微差别和幽默的微妙之处。​

想象一下，你拿着一份需要翻译的句子清单来找我们的 Transformer 图书管理员。他们不是逐条处理你的清单，而是一次性扫描整个清单，立即理解哪些词语是理解整体意义的关键。他们会仔细关注人名、地点、任何重复出现的词语，甚至是句子整体是如何组合在一起的。​

这就仿佛他们拥有一张图书馆中每本书、每篇文章和每个词汇的心理地图，能够精确地指出理解你清单所需的一切。他们关注词与词之间的关系，就像你知道班里哪些同学是兄弟姐妹，或者谁有共同的兴趣爱好。这有助于他们理解你句子背后的真正信息，并更准确地将其翻译成另一种语言。​

Transformer 图书管理员在开始处理下一个句子之前不会浪费时间逐个处理。他们已经超越了旧模型的逐序处理方式。他们可以立即看到你清单的开头、中间和结尾，一次性地提取连接和洞见。​

这就是为什么 Transformer 模型像是一盘棋局，而图书管理员则是一位棋局大师，总是能够提前几步思考。他们不仅仅专注于面前的一枚棋子；他们考虑整个棋盘上的每一个棋子，制定涵盖每一方面的战略。就像一位能预测对手下一步的棋局大师，我们的图书管理员能够预见哪些词对翻译至关重要。​

这种同时处理句子所有部分的能力，使得翻译变得更快、更准确。Transformer 模型，就像我们这位超级聪明的图书管理员，正在一次性地改变语言翻译的游戏规则——或者在这种情况下，是同时处理所有的词汇！​

Transformer 模型的独特之处

现在，让我们深入了解一下让 Transformer 模型独树一帜的神奇功能：注意力机制。还记得那个倾听朋友们讲话的比喻吗？假设你正坐在午餐桌旁，你的朋友们同时在谈论着各种不同的主题。一个兴奋地谈论着科学项目，另一个在回忆一部电视节目里的搞笑片段，还有一个在努力回想数学课的作业。在普通的对话中，你可能会尝试逐个跟进每个朋友的谈话，对吧？但如果你能同时关注他们所有的故事，瞬间理解每个对话中的重点部分呢？这正是 Transformer 模型中注意力机制的威力。​

现在，设想你的一个朋友提到了关于明天交的数学作业的一些关键信息。你的大脑中的注意力机制会立即聚焦到那部分对话，给予它更多的……注意。这与 Transformer 模型在处理句子时运用的注意力机制十分相似。句子中的词汇互相依赖，共同构建出完整的意义，就像一个朋友的评论可能与另一个朋友之前说过的话相关。Transformer 模型利用注意力来权衡每个词语相对于其他词语的重要性，帮助理解整个句子的含义，即使关键词彼此间隔甚远。​

想象一下，单词就像足球场上的球员。每个球员（单词）都扮演着自己的角色，有时他们之间会传递球（意义）以达成进球（构成句子）。在旧的模型中，计算机就像一位老派足球教练，只能一次关注一个球员，从而错过整场比赛的大局。而 Transformer，就像一位运用现代战术的教练，同时关注所有球员，了解他们的位置和可能的动作，从而做出更佳的决策。​

那么，这种足球教练式的模型是如何确定要关注谁的呢？在注意力机制中，句子中的每个词都被赋予了三种标签，好比给场上的每个球员穿上不同颜色的球衣。这些标签被称为“查询”（query）、“键”（key）和“值”（value）。"查询"好比在问：“我应该关注谁？”"键"则像是在说：“我有可能重要的信息！”而"值"则是那个球员拥有的实际信息。每个词都会观察其他词的“键”球衣，决定哪些“值”信息对理解整个句子最为重要。​

Transformer 会根据“查询”和“键”的匹配程度来计算分数。高分意味着“更加关注这个词！”，低分则像是在说：“这个词现在不那么重要。”这帮助模型判断哪些词（球员）是那一刻意义（进球）的关键所在。正是这种评分机制使得 Transformer 模型能够同时处理整个句子（整场比赛），而不是逐词（逐球员）处理。​

这个系统的聪明之处在于，它可以适应任何语言和任何句子结构。无论是像日语那样把动词放在主语前面的语言，还是像诗歌中那样以创造性方式混淆词序的语言，注意力机制都能适应，突出词语背后的核心含义。​

模型还加入了所谓的“位置编码”，这是一种高级方式，用来跟踪每个词在句子中的位置，确保不会混淆词序。这就像给我们的足球队员编号，即使他们在场上移动，我们也总是知道他们最初的位置。​

通过使用注意力机制来关注句子中的重要部分，同时理解词语的位置，Transformer 不会被干扰或填充词所迷惑。它能够以前所未有的精确度翻译句子，就像它拥有一个超级充电的荧光笔，不仅能挑出最重要的词，还能看到它们在整个句子中的大局中如何组合。​

想象一下，你可以把一个复杂、扭曲的书中句子交给这个超级智能的系统，它会在几秒钟内解开它，轻松地把握整个含义，就像处理一个简单的“你好”一样。这就是 Transformer 模型在语言翻译领域成为革命性变革者的原因。它不仅加快了工作速度——它还以前所未有的细致关注，更智能地理解语言和句子，展现了机器学习领域中前所未有的细节关注。​

注意力机制如何助力翻译

想象一下，你在阅读一本课堂用的厚重书籍，书中有一句话概括了整个故事。如果你有一支神奇的荧光笔，一打开书就能照亮那个关键的句子，而无需一页页翻阅，岂不是极好的？​

Transformer 模型的注意力机制，就像是这样一支用于语言翻译的神奇荧光笔。它被设计来识别句子中的关键部分，以便进行有意义且准确的翻译。让我们来详细了解这种“注意力荧光笔”是如何运作的。​

中学生能看懂：论文 《Attention Is All You Need》​

中学生能看懂：论文《Attention Is All You Need》