Yafah Edelman : 纯软件奇点要出现,有一个必要条件:必须处于这样一个世界 —— 仅仅依靠增加研发人员的工作时间,就能改进 AI ,从而弥补无法扩展实验算力或预训练规模的不足。 如果真是这样,那我们应该会看到,实际使用的实验算力并不多,所有资金都流向了研究人员。但目前的情况是,虽然有大量资金投入到研究人员身上,但据我们所知,实验算力的投入规模也不相上下,甚至比最终发布模型的训练运行所投入的资金还要多很多倍。这一点让我改变了之前的看法 —— 大规模实验其实是研发的必要条件。我们没有足够的证据表明,只靠研究人员,不做更多实验,就能加速技术进展。不过这方面也有很多不同的观点,都有各自的道理。 我个人倾向于认为,要推进研发,必须进行更多实验,这也就意味着纯软件奇点很难实现。 但我并不觉得持相反观点的人是错的,他们的想法也有合理之处,毕竟我们现在都是在猜测一个数据很匮乏的领域。说到这里,我又想到一个问题。有些公司的研究人员在尝试探索超出可验证的领域,比如有观点认为,梯度下降在当前的数据集上学习效果很好,但如果反复训练,模型会开始忘记之前学过的内容,也就是所谓的 “ 灾难性遗忘 ” 。你怎么看待这个观点?孩子们学习可不是这样的。也许孩子们是通过模仿学习,也可能是通过某种探索的方式学习。我很好奇你的看法。如果孩子真的只靠模仿就能学习,那抚养孩子就简单多了。但抚养孩子之所以难,似乎就是因为他们会去探索各种各样的东西。那么在算法改进方面,除了数据和算力,我们还需要什么才能持续优化这些模型呢?