访谈：Ilya | 2023年11月长篇访谈

转载自：天空之城城主公众号

源地址：https://mp.weixin.qq.com/s/7uowRd_V0Ze54VBbuMmynQ

前言：

今日，OpenAI大神，联合创始人兼首席科学家Ilya的最新访谈视频发布。这是很久以来Ilya再次出来做了长篇访谈，和之前一些短暂露面里的惜字如金不同，Ilya在这个访谈里干货满满，涉及了AI研究的最新进展以及OpenAI的策略等等。​

以下是城主摘的部分Highlight：

•
神经网络的训练过程几乎可以看作是求解神经方程，其中每个数据点都是一个方程，每个参数都是一个变量。​

•
OpenAI从一开始的目标就是确保通用人工智能，即能够真正完成人类所做的大部分工作、活动和任务的人工智能，造福全人类。OpenAI的目标并没有随着时间的推移而演变，战术却随着时间的推移而演变。​

•
在某些时候，我们意识到如果你训练一个大型神经网络，一个非常非常大的Transformer来越来越好地预测文本，就会发生一些非常令人惊讶的事情。这个认识也是一点点慢慢到来的。​

•
对我个人而言，最大的觉醒时刻是从GPT-2过渡到GPT-3，这一步骤中的功能和能力的提升是巨大的。​

•
我想也许最令人惊讶的是，最令人惊讶的是，如果我必须选择一个，那就是当我与之交谈时，我感到被理解了。​

•
我们有一些自上而下的想法，我们认为应该可行，但我们并不能 100% 确定。所以我们需要有好的自上而下的想法。在这些自上而下的想法的指导下，也有很多自下而上的探索。它们的结合告诉我们下一步该做什么。​

•
事情正在发生的（最）重大变化无疑是这些模型变得越来越可靠。可靠性的意思是当你提出的问题并不比模型成功解决的其他问题难多少时，你就非常有信心它将继续取得成功。​

•
7B，13B等规模的模型研究并不是浪费，大模型会比小模型更好，但并非所有应用程序都能证明大模型的成本是合理的。​

•
完成一些大型而复杂的任务的模型如果是开源的，它们将产生难以预测的后果。​

•
总有一天，你会拥有可以自主进行科学研究的模型，比如构建、交付大型科学项目。至于这种能力的模型是否应该开源就变得更加复杂。​

•
我们有人工神经元、生物神经元、生物智能的统一大脑架构、人工智能的统一神经网络架构。那么，我们应该何时开始将这些系统视为数字生活呢？我认为，当这些系统变得可靠且高度自治时，这种情况就会发生。​

•
我们将拥有比人类聪明得多的计算机、数据中心，这似乎一点也不令人难以置信。我所说的“更聪明”并不是指拥有更多的记忆力或拥有更多的知识，而是指对我们正在研究和研究的同一主题有更深入的了解。这意味着比人学得更快。​

•
我希望任何这种超级智能的实例都能对人类产生温暖的感情。这就是我们正在做的超级对齐项目。亲和人类社会的人工智能，这是我们的目标。​

以下是本次Ilya访谈的天空之城文字整理版

主持人：

OpenAI，这是一家我们现在都熟知的公司，然而一年前，它只有100名员工，却正在改变世界。他们的研究正在引领通用人工智能的发展。自去年11月ChatGPT吸引了消费者的关注以来，他们的发展势头并未有任何放缓的迹象。本周，我们有幸与OpenAI的联合创始人兼首席科学家Ilya Sutskever进行了深入的交谈，我们讨论了人工智能研究的现状、我们将在哪些方面达到极限、通用人工智能的未来，以及如何实现超级一致性。​

伊利亚，欢迎来到播客。

非常高兴来到这里。

Ilya自己在深度学习领域的研究经历

主持人：

我们从最初的深度学习开始讨论。在AlexNet出现之前，深度学习中没有任何东西真正有效。然后考虑到当时的环境，你们下了一个非常独特的赌注。是什么促使你朝这个方向发展？​

Ilya：

在那个黑暗时代，人工智能并不是一个人们抱有希望的领域，人们根本不习惯任何形式的成功。由于没有取得任何成功，因此引发了很多争论，不同的思想流派对机器学习和人工智能应该如何发展有不同的争论。有人热衷于老式人工智能的知识表示。有些人是贝叶斯主义者，他们喜欢贝叶斯非参数方法。有人喜欢图形模型，有人喜欢神经网络。这些人被边缘化，因为神经网络不具备无法证明关于他们的数学定理的特性。如果你不能证明某件事的定理，那就意味着你的研究不好。​

但是，我从一开始就被神经网络所吸引，因为我觉得这些都是小大脑，谁在乎你是否能证明关于它们的任何定理，因为我们正在训练小大脑，也许它们会变成，也许它们有一天会做某事。​

我们之所以能够做到AlexNet，是两三个因素的结合。第一个因素是，这是在GPU开始用于机器学习之后不久。人们有一种直觉，认为这是一件好事，但当时人们并不像今天那样确切地知道GPU的用途。他们想，让我们玩一下那些又酷又快的计算机，看看我们能用它们做什么。它特别适合神经网络。所以这绝对对他们有帮助。​

我非常幸运，因为意识到神经网络的原因是因为它们太小了。就像如果你尝试用神经网络解决视觉任务一样，它有大约一千个神经元，它能做什么？它什么也做不了。你的学习有多好以及其他一切并不重要。但如果你有一个更大的神经网络，它将做出前所未有的事情。​

主持人：

是什么让你有这样的直觉？

我认为当时认为尽管你的观点是这样的，但很多人脑在某种意义上都是以这种方式或不同的生物神经回路工作的，这是相当逆向的。但我只是很好奇，是什么让你很早就有直觉认为这是一个好的方向？​

Ilya：

看看大脑，特别是那里，如果你喜欢的话，所有这些事情都会很容易发生。如果你允许自己，如果你现在允许自己接受这个想法，那么这个想法就会被很好地接受。​

当时人们还在谈论它，但他们还没有真正接受它或内化这样的想法：也许人工神经元在某种意义上与生物神经元没有什么不同。所以现在无论你想象动物用大脑做什么，你也许都可以组装一些。类似大小的人工神经网络。也许如果你训练它，它也会做类似的事情。所以这就导致了这一点。​

这会让你开始想象，好吧，就像想象神经网络正在完成的计算一样。你几乎可以想象，如果你有一张高分辨率图像，并且你有一个神经元来处理一大组像素，那么神经元能做什么？如果你有很多神经元，那么它们实际上可以做一些事情并计算一些东西。因此，我认为这是一种基于深思熟虑的观点和技术实现的结合。​

技术实现的关键在于，如果你有一个大型训练集来指导神经网络的行为，且训练集足够大，那么你就能有效地约束大型神经网络。此外，如果你找到了训练神经网络的算法，那么我们所做的就是将训练集转化为满足训练集要求的神经网络。神经网络的训练过程几乎可以看作是求解神经方程，其中每个数据点都是一个方程，每个参数都是一个变量。因此，这是一个多方面的问题。我们需要意识到，更大的神经网络可以实现一些前所未有的功能。​

访谈：Ilya | 2023年11月长篇访谈​

访谈：Ilya | 2023年11月长篇访谈