分享
解析 Transformer 模型:理解 GPT-3、BERT 和 T5 背后的模型
输入“/”快速插入内容
解析 Transformer 模型:理解 GPT-3、
BERT
和 T5 背后的模型
原文链接:
https://daleonai.com/transformers-explained
作者:Dale Markowitz(@Google Labs,领导生成式
AI
的宣传和教育)
发表时间:2021 年 5 月 6 日
翻译: 数据派 THU (译者:王可汗,校对:和中华),略有修改
中文翻译原地址:
https://mp.weixin.qq.com/s/kfsW7ccYUAGp1AHWWF6c1w
《
A16Z 整理的 AI 典藏
》入门第四篇
你知道这句话吗,
当你有一把锤子的时候,所有东西看起来都像钉子
? 在
机器学习
中,我们似乎真的发现了一种神奇的锤子。实际上,
在这个模型面前所有东西都是钉子,这就是 Transformer 模型。
Transformer 模型可以用来翻译文本、写诗、写文章,甚至生成计算机代码
。事实上,我在
daleonai.com
上写的很多惊人的研究都是建立在 Transformer 基础之上,比如 AlphaFold 2,它是一种从基因序列中预测蛋白质结构的模型,以及 GPT-3、
BERT
、T5、
Switch
、Meena 等功能强大的自然语言处理(
NLP
)模型。你可能会说,他们不仅仅是遇到了……呃,先往下说吧。
如果你想在
机器学习
,特别是自然语言处理方面与时俱进,你至少要对 Transformer 有一点了解。
所以在这篇文章中,我们将讨论它们是什么,它们是如何工作的以及为什么它们如此有影响力。
Transformer 是一种
神经网络
结构
。简单地说,
神经网络是分析图像、视频、音频和文本等复杂
数据类型
的一种非常有效的模型。针对不同类型的数据有专门优化过的的神经网络。
例如,在分析图像时,我们通常会使用
卷积神经网络
。大体来说,它们模仿了人脑处理视觉信息的方式。
卷积神经网络
,图片来自 Renanar2,wikiccommons
大约从 2012 年开始,我们已经用
CNN
相当成功地解决了视觉问题
,比如识别照片中的物体,识别人脸,手写数字识别。但在很长一段时间里,语言任务(翻译、文本摘要、文本生成、
命名实体识别
等)都没有较好的方法。这很不幸,因为语言是我们人类交流的主要方式。
在 2017 年推出 Transformer 之前,我们使用深度学习来理解文本的方法是使用一种称为
循环神经网络
(
RNN
)的模型,它看起来像这样:
循环神经网络
,图片来自 fdeloche,Wikimedia
假设你想把一个句子从英语翻译成法语。
RNN
将一个英语句子作为输入,一次处理一个单词,然后按顺序吐出对应的法语单词。这里的关键词是“顺序”。在语言中,单词的顺序很重要,你不能随意打乱它们。比如下面的句子:
“Jane went looking for trouble。(简到处找麻烦。)”意思与句子非常不同: “Trouble went looking for Jane” (麻烦到处找简。)
因此,任何能够理解语言的模型都必须捕捉词序,
而
循环神经网络
是通过在一个序列中,一次处理一个单词来做到的
。
但是
RNN
有问题。首先,他们很难处理冗长的文本序列,比如长段落或文章。
当他们读到一段的结尾时,他们会忘记开头发生了什么
。例如,基于 RNN 的翻译模型可能很难记住长段落主语的性别。
更糟糕的是,
RNN
很难训练。它们很容易受到所谓的
消失/爆炸梯度
问题的影响
(有时候你只能重新开始训练并祈祷)。更有问题的是,因为
RNN 是按顺序处理单词的,所以很难
并行
化。这意味着你不能通过添加更多
GPU
来加快训练速度,这也意味着你不能用那么多数据来训练它们
。
进入 Transformer
这就是 Transformer 大显身手的地方。它们是谷歌和多伦多大学的研究人员在 2017 年开发的,最初设计用于翻译。但与
循环神经网络
不同,Transformer 可以非常有效地
并行
化。这就意味着,只要有合适的硬件,你就可以训练出一些非常大的模型。
有多大呢?非常之巨大!
GPT-3 是一种特别令人印象深刻的文本
生成模型
,它的写作能力几乎与人类相当,它是在
45
TB
的文本数据上训练而成,包括几乎所有的公共网络数据。
所以,
用一句话总结 Transformer,一定是这样的:
当一个扩展性极佳的模型和一个巨大的数据集邂逅,结果可能会让你大吃一惊
。
Transformer 是如何工作的?
Transformer,图片出自原稿:
https://arxiv.org/abs/1706.03762