开发：从Token预测到AGI:OpenAI首席科学家揭秘AGI的进化之路

飞书用户6750

飞书用户8280

2024年1月30日修改

🌰

原创 AI小智 AI小智 2023-12-19 08:10 发表于湖北

本文整理自OpenAI首席科学家Ilya Sutskever的一次的访谈。Ilya与我们深入探讨了当前通用语言模型技术如何向更高智能迈进,以及Token预测这一核心方法如何成为AGI的基石。​

Token预测:连接语言、思维和世界

Token预测看似简单的一个统计学技巧,但Ilya强调,其中蕴含了巨大的潜力:​

“预测下一个语言符号(Token)的质量,其实反映了你对语言背后隐藏的语义和知识的理解程度。这不仅是统计,更是对世界本质的压缩和表达。”​

要预测语言,模型需要建立符号与思维、思维与世界之间的联系。这也意味着,一个足够强大的语言模型,可以模拟出超越现实的假想情况:​

“如果让这样的模型去预测,一个睿智、博学和能力非凡的人会有怎样的行为举止,它很可能可以通过人类数据进行推理和外推。”​

换言之,Token预测技术提供了通向更高层次智能的桥梁。

超越人类

纯预测是否够用?

这听上去令人振奋,但也有专家质疑,单纯的预测性学习无法产生超人类智能。对此,Ilya反问:​

“如果基础的神经网络足够强大,你让它预测一个智慧卓绝的人会怎么做,这难道不可能吗?从数据中推测出一个不存在的更聪明人物的行为?"​

结合之前的分析,Ilya的逻辑在此显得异常清晰:

1.
Token预测需要建立符号到世界的联系​

2.
一个足够强大的语言模型可以模拟假想情况​

3.
所以,它也可以模拟出比任何人都强的假想超级大脑!​

开发：从Token预测到AGI:OpenAI首席科学家揭秘AGI的进化之路​