深度学习（3）序列学习
输入“/”快速插入内容
深度学习（3）序列学习
深度学习（3）序列学习
《Deep Learning in a Nutshell: Sequence Learning》
译者：通往AGI之路，共建者：dorothy
这一系列博客旨在提供一个直观且不严重依赖数学或理论构建的深度学习介绍。本系列的第一部分对深度学习领域进行概述，涵盖了基础和核心概念。在第二部分中，我们概述了有效训练神经网络的方法，并介绍了该领域的历史背景。在这篇文章中，我们将重点关注自然语言处理的序列学习。本系列的第 4 部分介绍了强化学习。
图 1：长短期记忆 (LSTM) 单元。LSTM 单元有四个输入权重（从数据到输入和三个门（即input gate、output gate和forget gate））和四个循环权重（从输出到输入和三个门（即input gate、output gate和forget gate））。窥视孔是存储单元和门之间的额外连接，但它们不会显著提高性能，通常为简单起见而被省略。图片由 Klaus Greff 及其同事拍摄，发表于 《LSTM：搜索空间奥德赛》。
序列学习
循环神经网络
如果我们想要一个常规的神经网络解决两个数字相加的问题，那么我们可以只输入这两个数字并训练网络来预测这些输出的总和。如果我们现在想要三个数字相加而不是两个数字，我们可以（1）使用额外的输入和权重来扩展我们的网络并重新训练它，或者（2）将输出（即前两个数字和第三个数字的总和）反馈到网络中。方法（2）显然更好，因为我们可以希望网络在不重新训练整个网络的情况下表现良好（网络已经“知道”如何将两个数字相加，因此它应该知道如何将两个数字之和与另一个数字相加）。
相反，如果我们的任务是先将两个数字相加，然后再减去两个不同的数字，那么这种方法将不再有效。即使我们使用输出中的附加权重，我们也不能保证正确的输出：这相当于试图用加法和乘法来近似两个数的减法，这通常是行不通的！相反，我们可以尝试将网络中的“程序”从“加法”改为“减法”。我们可以通过对隐藏层的输出进行加权，并将其反馈到隐藏层——一个循环权重（参见图 2）！通过这种方法，我们可以通过每个新输入（也就是说，在每个新的数字）来改变网络的内部动态。网络将学会在前两个数字之后将程序从“加法”改为“减法”，从而解决问题（尽管在准确性上存在一些误差）。
图 2：常规神经网络与循环神经网络基本计算架构的比较。循环神经网络为每个时间步长都有一个输入，而常规神经网络一次性获取所有输入。
我们甚至可以推广这种方法，向网络逐个输入两个数字，然后输入一个代表“加法”、“减法”、“乘法”等数学运算的“特殊”数字。尽管这在实践中并不完美，但我们可以获得大致正确的结果。然而，这里的要点不是得到正确的结果，而是我们可以训练循环神经网络来学习任意输入序列的非常具体的输出，这非常强大。
举个例子，我们可以教循环网络学习单词序列。Soumith Chintala和Wojciech Zaremba撰写了一篇关于使用 RNN 进行自然语言理解的优秀 Parallel Forall 博客文章。RNN 还可用于生成序列。Andrej Karpathy 写了一篇引人入胜且有趣的博客文章，其中他演示了字符级 RNN，它可以生成从莎士比亚到 Linux 源代码再到婴儿名字的一切模仿。
长短期记忆 (LSTM)
长短期记忆 (LSTM) 单元使用具有自连接的线性单元，其恒定权重 为1.0 。这使得流入该自循环单元的值（前向传递）或梯度（后向传递）可以无限期地保留（输入或误差乘以 1.0 仍然具有相同的值；因此，前一个时间步的输出或误差与下一个时间步的输出相同），以便在最需要的时间可以准确地检索该值或梯度。这种自我循环单元，即存储单元，提供了一种可以存储过去数十个时间步长的信息的存储器。这对于许多任务来说非常强大，例如对于文本数据，LSTM 单元可以存储前一段中包含的信息并将该信息应用于当前段落中的句子。