AI巨头杨立昆的最新3小时访谈聊了些什么
输入“/”快速插入内容
AI巨头杨立昆的最新3小时访谈聊了些什么
AI巨头杨立昆的最新3小时访谈聊了些什么
用户8537用户85372024年3月8日修改
🤖
作者： 天空之城城主
KIMI 总结
文：城主
（完整版中英文精校视频请关注本城同名B站号。）
AI界泰斗级人物Yann LeCun杨立昆昨天刚和硅谷科技圈第一播客Lex同学进行了一次3小时的深度对话。本城第一时间学习了解，和大家一起分享巨头的最新思考。
这段对话的核心,是Yann LeCun对人工智能未来发展的深度思考,特别是他对开源AI的潜力和挑战的独到见解。
LeCun可谓AI领域的"常青藤",他是Meta首席AI科学家、纽约大学教授、图灵奖得主,更是AI发展史上的开创性人物之一。一直以来,LeCun和他的团队都在大力支持和推动开源AI的发展。他们毫无保留地分享了许多里程碑式的大模型,如Llama 2和即将推出的最新Llama 3。针对某些人对AGI(通用人工智能)迫在眉睫的危言耸听,LeCun直言不讳地予以批驳。他坚信AGI终有一天会问世,但那将是人类的福音,而非灾难。
在谈到AI的未来时,LeCun抛出了一些令人耳目一新的观点,尤其是针对GPT-4和即将发布的Llama-3等大型语言模型(LLM)的评论。他指出,尽管这些模型在语言处理上非常出色,但仍难以被视为"超人智能"的载体。因为它们尚不具备理解世界运转规律、把握物理法则、记忆检索信息、持久储存记忆、逻辑推理和行动规划等人类智能的关键要素。LeCun强调,相比语言输入,我们实际上更多地依靠感官输入来认知世界。换言之,我们的知识和认知,很大程度上源自对客观现实的观察和交互,而非单纯的语言学习。
LeCun进一步剖析了LLM的局限性。在他看来,LLM无法像人类那样进行深度思考和周密规划,它们只是本能地一个接一个地吐露词句。他质疑LLM是否真的构建了一个内在的世界模型,以及我们能否仅凭语言预测来塑造对世界的深刻理解。语言在信息传递上的"带宽"和表现力有限,因此单靠对词语序列的预测,难以建立完善的认知模型。与之相对的,是通过观察世界,领悟事物演变的内在逻辑。
LeCun特别以视频预测为例佐证其观点。过去十年,我们苦心孤诣地尝试用视频数据来训练生成模型,但收效甚微。究其原因,正如我们无法准确预测特定语境下的下一个词,我们同样难以穷举视频中所有可能出现的帧。症结在于,我们尚不知道如何高效地刻画高维连续空间中的概率分布。
作为一种可能的解题思路,LeCun提出采用蕴含潜变量的模型。这类模型能够表征我们尚未感知、亟需补全的各类世界信息。然而,尽管这种途径在像素预测上取得了不俗的效果,但在实践中却难以奏效。
LeCun还探讨了训练系统学习图像表征的难题。我们虽然掌握了一整套技术,但在面对残缺图像时,往往难以高质量地复原。为了突破瓶颈,LeCun提出了一种"联合嵌入"的新方法。其基本思路是,先用编码器分别处理完整图像和残缺图像,再训练一个预测器来预测完整图像的表征。
在LeCun看来,通过自监督学习掌握抽象表征,是智能系统的重要一环。我们不应该只局限于对底层细节建模,而应该在多个抽象层次上描述世界万象。与此同时,我们要尽可能多地从输入中榨取信息,但又要避免提取那些难以预测的冗余。