融合RL与LLM思想，探寻世界模型以迈向AGI/ASI的第一性原理反思和探索「RL×LLM×WM>AI4S>AGI>ASI」
输入“/”快速插入内容
融合RL与LLM思想，探寻世界模型以迈向AGI/ASI的第一性原理反思和探索「RL×LLM×WM>AI4S>AGI>ASI」
融合RL与LLM思想，探寻世界模型以迈向AGI/ASI的第一性原理反思和探索「RL×LLM×WM>AI4S>AGI>ASI」
用户6750用户67502024年4月7日修改
🎉
原创 吕明 塔罗烩 2024-03-05 19:58 北京
本篇文章与2023年底尝试挖掘并探寻以chatGPT为代表的LLM和以AlphaGO/AlphaZero及当下AlphaDev为代表的RL思想的背后底层理论及形式上的统一，同时与最近OpenAI暴露出的project Q*可能的关于细粒度过程学习再到系统①(快)思考与系统②(慢)思考的形式化统一的延展性思考，以展望并探索当下面向未来的AGI->ASI的路径可行性。正如前几日AI一姐李飞飞所说，人工智能即将迎来它的「牛顿时刻」
本篇文章拟分为「上篇」「中篇」「下篇」
作者：吕明，坐标西二旗，技术探索方向LLM/RL/AGI/AI4S..
「上篇」
AlphaDev的尝试
探索的开始，想以一个去年(23年)年中颇具戏剧性的两个事件为开端...
故事的背景和起因是这样的，自AlphaGO为AI制造的涟漪还在、ChatGPT为AIGC掀起了更大的浪潮之后，以及基于LLM之上Agent模式初露头角后，人们将目光更多的关注在如何使得AI在达到AGI之后迈向ASI，而ASI的其中一条印证路径就是超越人类实现AI4S的突破...直到我们在去年底OpenAI内部的一次乌龙事件，似乎暴露出了一些隐藏在其背后的野心和端倪..
Think：这里可以关联到Agent探索&体会中的一篇关于XOT的paper中MCTS DRL路径探寻的模式思考，其中AOT那篇paper中也有部分思想的重合与指导性。
回望23年中的6月7日，曾经在最复杂的智力博弈领域风光无限的DeepMind，继AlphaGO神来之笔后，在LLM风靡世界的冷静期(2023.2H，Gemini和SORA发布前夕)，又将强化学习带向了巅峰，又双叒叕带着重磅成果登上Nature了..在计算机领域最基础的两个算法上实现了人类未发现的新突破：针对基础排序算法和哈希算法实现了汇编指令层的算法突破，分别提升70%及30%效率。而正是因为这一最新成果 · AlphaDev，使得十年都没有更新的LLVM标准C++库都更新了，并且数十亿人将会受益。
这个AI名叫AlphaDev，属于Alpha家族“新贵”，并且基于AlphaZero打造。DeepMind的研究员给它设计了一种单人“组装”游戏，如下图所示：
只要能够搜索并选择出合适的指令（下图A流程），正确且快速地排好数据（下图B流程），就能获得奖励.
其中，AlphaDev拥有两个核心组件：学习算法和表示函数。
学习算法主要是在强大的AlphaZero上扩展的，它可以结合DRL和随机搜索优化算法来进行巨量的指令搜索；主要的表示函数则基于Transformer，它能够抓住汇编程序的底层结构，并表示成特殊的序列。随着AlphaDev不断地打怪升级（在此过程中，研究员还会限制它能执行的步数，以及待排序列的长度），最终，AlphaDev发现了一种全新排序算法：
Think：这里可以关联到Agent探索&体会中的一篇关于XOT的paper中的MCTS DRL路径探寻的模式思考，其中AOT那篇paper中也有部分思想的重合。
具体的算法创新结果如下图所示：
如图所示：左边是利用了min(A,B,C)的原始sort3实现，右边是通过“AlphaDev Swap Move”，只需要min(A,B)的实现。能够发现可以省掉一步指令，还只需要算出A和B的最小值
如图所示，在对8个元素进行排序的算法中，AlphaDev也同样利用“AlphaDev Copy Move”，用max (B, min (A, C))替换了原始实现中更为复杂的max (B, min
作者表示，这种新颖的方法让人想起当年AlphaGo的“第 37 步”——一种违反直觉的下法却直接击败传奇围棋选手李世石，让观众全都震惊不已，而在发现更快的排序算法后，作者也用AlphaDev试了试哈希算法，以此证明其通用性，结果也没有让人失望，AlphaDev在9-16字节的长度范围内也实现了30%的速度提升。如果序列较短，相比人类基准排序算法，它能将速度提高70%；如果序列长度超过25000个元素，则提高1.7%。
同时作者认为两种新算法的实现显示AlphaDev具有强大的发现原始解决方案的能力，并且将使我们进一步思考计算机领域基础形式化算法的改进方式。