深度学习（2）历史和训练
输入“/”快速插入内容
深度学习（2）历史和训练
深度学习（2）历史和训练
《Deep Learning in a Nutshell: History and Training》
译者：《通往AGI之路》共建者dorothy
我以词汇表的形式编写了这个系列，因此它也可以用作深度学习概念的参考。
历史
深度学习的简史
图1：1965年由Alexey Grigorevich Ivakhnenko培训的第一个已知深度网络的体系结构。每个层之后的特征选择步骤都会导致体系结构变得越来越窄，当通过添加另一个层而无法实现进一步改进时，该体系结构就会终止。维基百科提供的Alexey Ivakhnenko教授的照片。
在这个时期，还缺乏使用误差反向传播训练深度模型的方法。反向传播算法早在1960年代就已经被推导出来，但是形式不完整且低效。现代形式的反向传播算法最早由Linnainmaa在他1970年的硕士论文中推导出来，并包括了用于反向传播的FORTRAN代码，不过没有提及其在神经网络中的应用。即使在这个时期，反向传播算法仍然相对较为陌生，1980年代早期，几乎没有记录下反向传播算法的应用（例如1982年的Werbos）。Rumelhart、Hinton和Williams在1985年证明，神经网络中的反向传播算法可以产生有趣的分布式表示。在当时，这是认知心理学中一个重要的成果，问题在于人类认知是否可以被认为是依赖于分布式表示（连接主义）还是符号逻辑（计算主义）。
反向传播的第一个真正实用的应用是由LeCun于1989年在贝尔实验室的工作成果。他将卷积网络与反向传播相结合来对手写数字（MNIST）进行分类，该系统后来在美国被用于读取大量手写支票。上面的视频显示了Yann LeCun在1993年使用“LeNet”网络进行数字分类的演示。
尽管取得了这些成功，但用于神经网络研究的资金仍然很少。在人工智能寒冬期间，人工智能一词近乎成为伪科学的代名词，该领域仍需一段时间才能恢复。这一时期取得了一些重要的进展，例如，Hochreiter和Schmidhuber在1997年为递归神经网络开发的长短期记忆（LSTM），但是这些进展在Cortes和Vapnik于1995年开发的支持向量机（VCM)面前相形见绌，因此大多数被人们所忽视。
下一个重大转变的契机出现在静待计算机变得更快，和接下来引入的图形处理单元（GPU）。仅等待更快的计算机和GPU就可以在10年内将计算速度提高1000倍。在这期间，神经网络逐渐开始与支持向量机相竞争。与支持向量机相比，神经网络可能会慢一些，但是在相同数量的数据下可以获得更好的结果。与简单算法不同，神经网络在有更多训练数据时会持续改进。
此时的主要障碍是训练大型、深层的网络，这些网络因遭受梯度消失问题，无法学习早期层的特征，因为没有学习信号到达这些层。
解决这个问题的第一个方法是逐层预训练，即通过使用无监督学习以逐层方式构建模型，以便早期层中的特征已经用一些合适的特征进行初始化或“预训练”（权重）。早期层中的预训练特征只需要在监督学习期间略微调整即可获得良好的结果。第一个预训练方法是由Schmidhuber于1992年为递归神经网络开发的，另一个预训练方法是由Hinton和Salakhutdinov于2006年为前馈网络开发的。另一个解决递归神经网络中梯度消失问题的解决方案是于1997年提出的长短期记忆（LSTM)。
随着GPU速度的迅速增加，Ciresan和他的同事在2011年和2012年展示了卷积网络的训练不再需要预训练，他们用卷积网络架构赢得了字符识别、交通标志和医学成像竞赛。Krizhevsky、Sutskever和Hinton在2012年也使用了类似的架构，还采用了修正线性激活函数和dropout进行正则化。他们在2012年的ILSVRC-2012 ImageNet竞赛中取得了杰出的成绩，标志着特征工程的放弃和深度学习形式的特征学习被采用。Google、Facebook和Microsoft注意到了这一趋势，并在2012年至2014年期间对深度学习初创企业和研究团队进行了大规模收购。从此深度学习的研究迅速加速。
感知器
感知器仅包含单个线性或非线性单元。从几何角度来看，采纳Delta 规则训练的非线性单元的感知器可以找到分离两个不同类别数据点的非线性平面（如果分离平面存在）。如果不存在这样的分离平面，感知器通常仍会产生提供良好分类精度的分离平面。感知器的良好性能引发了人工智能的热潮。然而，1969 年，研究表明感知器可能无法分离看似简单的模式，例如 XOR 函数提供的点。感知器的声誉跌落是第一次人工智能寒冬出现的主要原因之一。虽然具有隐藏层的神经网络不会受到感知器的典型问题的困扰，但神经网络仍然与感知器相关联，因此在人工智能寒冬期间也面临形象问题。
尽管如此，尽管深度学习取得了成功，感知器仍然在大数据领域得到广泛应用，因为感知器的简单性使其可以成功应用于非常大的数据集。
人工智能寒冬
机器学习和其他推理方法的快速发展引起了人工智能的炒作（类似于当今深度学习的热潮）。研究人员承诺这些进展将持续，并将导致强人工智能的出现，因此人工智能研究获得了大量资金支持。
1970年代，人们开始意识到这些承诺无法兑现，资金被大幅削减，人工智能领域陷入了近似伪科学的境地。研究变得非常困难（资金很少；发表的论文几乎无法通过同行评审），但仍有一些研究人员继续沿着这条道路前进，他们的研究很快导致了该领域的复苏和深度学习领域的诞生。
这就是为什么过度的深度学习炒作是危险的，研究人员通常避免对未来做出预测：人工智能研究人员希望避免另一个人工智能寒冬。
AlexNet
AlexNet是一种卷积网络架构，以Alex Krizhevsky的名字命名，在Geoffrey Hinton的监督下他与Ilya Sutskever将此架构应用于以 ImageNet 数据集为特色的 ILSVRC-2012 竞赛中。他们改进了Ciresan和同事开发的卷积网络架构，该架构通过使用修正线性单元提高速度和dropout以提高泛化能力，赢得了 2011 年和 2012 年的多项国际比赛。他们的结果与特征工程方法形成了鲜明的对比，这立刻在深度学习和计算机视觉的特征工程方法之间产生了巨大的分歧。从这里可以明显看出，深度学习将取代计算机视觉，并且其他方法将无法赶上。AlexNet预示了深度学习的主流应用和前景。
训练深度学习架构
训练
训练深度学习架构的过程类似于幼儿开始理解周围世界的过程。当幼儿遇到一个新的动物，比如一只猴子，他或她不会知道这是什么。但是一个成年人会用手指指向猴子并说：“那是一只猴子！”幼儿就能将他或她看到的图像与标签“猴子”联系起来。
然而，在下一次遇到同样的动物时。单个图像可能不足以正确地标记该动物。例如，幼儿可能会把树懒误认为猴子，或者把猴子误认为树懒，或者干脆忘记某种动物的名称。为了可靠地记忆和标记，幼儿需要看到许多不同的猴子和类似的动物，并且每次都需要知道它是否真的是猴子——反馈对于学习至关重要。经过一段时间，如果幼儿遇到足够多的动物并配对它们的名称，幼儿将学会区分不同的动物。
深度学习过程类似。我们向神经网络提供图像或其他数据，例如一只猴子的图像。深度神经网络预测某种结果，例如图像中物体的标签（“猴子”）。然后我们向网络提供反馈。如果网络预测图像显示有 30% 的概率是猴子，70% 的概率是树懒，那么所有有利于树懒类的输出都会出错！通过误差反向传播算法，我们使用该误差来调整神经网络的参数。
通常，我们会随机初始化深度网络的参数，起初网络会输出随机预测。对于包含1000个类别的ImageNet，这意味着初始化神经网络后，我们对任何图像的平均分类精度仅为 0.1%。为了提高性能，我们需要调整参数，以便分类性能随着时间的推移而提高。但这本质上是困难的：如果我们调整一个参数来提高一类的性能，这个变化可能会降低另一类的分类性能。只有找到适用于所有类别的参数变化，我们才能实现良好的分类性能。
如果你想象一个只有两个参数（例如-0.37和1.14）的神经网络，那么你可以想象一个山地景观，其中山地高度代表分类错误，而两个方向-南北（x轴）和东西（y轴）代表我们可以改变这两个参数的方向（负-正方向）。任务是要找到山地景观中的最低点：我们要找到最小值。