AIGC Weekly #87
输入“/”快速插入内容
AIGC Weekly #87
AIGC Weekly #87
飞书用户43922024年9月10日修改
⏰ 发表时间：2024-09-02
作者：歸藏
上周自己挑选数据训练了一个 FLUX 风格 Lora，整体会让生成的图片更加简洁，会有更多灰色内容，感兴趣可以试试。
上周精选 ✦
OpenAI 投资的机器人创业公司 1X 推出了他们的家用消费级机器人NEO Beta。
演示看起来很厉害，同时让机器人穿上衣服不漏出机械原件的演示也有一定的传播动力。
1X 预计最早2025年向付费客户交付家用机器人，他们机器人的主要特点有自主研发的"肌腱驱动"技术、注重机器人的柔顺性和安全性、低齿轮比,高功率电机设计、类似人类肌肉的驱动系统。
在制造流程上高度垂直整合,从原材料到成品全程自主生产，分阶段组装:核心部件 -> 子系统 -> 最终组装 -> 验证测试。
从演示来看还不太能做复杂的家务，只能帮忙整理简单的东西或者将置顶的东西拿给人类，不过在 LLM 的加持下最近厉害的机器人公司越来越多了。
高质量合成数据的重要性再一次被证明。
Open AI 的逻辑 是使用一个足够庞大且非常不经济的推理模型（Strawberry）生产优质合成数据帮助训练下一个阶段的普适模型（猎户座） 。
同时逸散的部分合成数据顺便用来微调和蒸馏上一代模型 GPT-4，确保上一代模型的持续微小进步（GPT-4o）。
据 The Information 报道，OpenAI 可能会在今年秋天发布Strawberry的ChatGPT版本。
Strawberry 这个模型的推理能力相较于现在的模型大幅加强，可以真正实现将思考时间转化为输出质量，它的增强逻辑应该能更有效地解决与语言相关的挑战。
Sam 也说他们已经邀请美国国家安全部门开始测试他们的先进模型。
另外还有一个规划中的代号 “Orion（猎户座）“旗舰语言模型，旨在超越 GPT-4。Strawberry 将通过为 Orion 生成数据来做出贡献。Strawberry 和高质量合成数据的结合可能会减少 Orion 中的错误。
并行生成理由 ：首先，在输入序列的每个标记位置并行生成多个理由。每个理由的长度为t，并在每个理由的开始和结束处插入学习的起始和结束标记。
混合后理由和基础预测 ：然后，使用一个混合头从每个理由的隐藏状态输出和原始文本标记的隐藏状态输出中生成一个权重，该权重决定了在后续标记预测中使用多少后理由的预测逻辑。
优化理由生成 ：最后，使用REINFORCE算法优化理由生成参数，以增加使未来文本更可能的理由的可能性。