AIGC Weekly #63
输入“/”快速插入内容
AIGC Weekly #63
AIGC Weekly #63
发表时间：2024-03-18
作者：歸藏 公众号：歸藏的AI工具箱
Midjourney提示词：Abstract chrome texture, low saturation, color, blurred, delicate, soft scene, 8k, massive details ::5 stockphoto, datamoshing, analytical art, urban energy, contained chaos, low bitrate high - key lighting, abstraction - création kodak elite chrome extra color, juxtaposition of light and shadow, clear colors smooth, modern minimalist, 3d render, unreal engine 5, industrial design, studio lighting, zoomed shoot, isometric, blender ::1 --ar 16:9 --style raw 💎查看更多风格和提示词
上周精选 ✦
上周Open AI的CTO Mira Murati介绍了一些Sora相关的信息，包括了发布时间实际成本以及训练数据来源等，下面是根据采访总结的十个要点：
1.
OpenAI的前首席执行官Mira Murati介绍了他们开发的文本到视频生成AI模型Sora,该模型可以根据文本提示生成一分钟长的高度逼真、富有细节的视频。
2.
Sora本质上是一种扩散模型,通过分析大量视频数据学习识别物体和动作,并能根据文本提示创建连贯、逼真的视频场景。但目前生成的视频仍存在一些缺陷和不稳定性。
3.
Sora使用了公开可获取的视频数据以及Anthropic的Lycent数据集进行训练,其中包括来自Shutterstock等来源的视频内容，具体数据集没有透露。
4.
生成Sora的视频需要大量计算资源,成本高昂。生成一个Sora视频的成本远高于一个DALL-E图像，OpenAI的目标是优化该技术,使其能像DALL-E一样以更低成本向公众开放使用。
5.
OpenAI计划在2024年内,最近的几个月推出Sora。但他们表示只有在确保其安全、可靠的情况下才会发布。
6.
OpenAI正在对Sora进行"红队"测试,以发现其中潜在的漏洞、偏见和有害问题。他们还在探索对Sora生成内容设置何种限制和政策。
7.
OpenAI正与不同领域的艺术家和创作者合作,了解Sora作为创意工具所需的灵活性。Murati认为AI工具是扩展人类创造力的工具。
8.
随着类似Sora这样的AI视频生成工具的发展,未来几年视频行业从业者的工作可能会受到影响。区分AI生成视频与真实视频将成为一个挑战。
9.
OpenAI正研究为AI生成视频添加水印,以识别内容来源。Murati强调在全面部署前需要解决AI工具可能带来的错误信息传播等社会问题。
10.
Murati认为尽管将AI工具引入日常现实存在诸多挑战,但其将扩展人类的创造力、知识和想象力,因此是值得一试的。找到恰当的发展路径将是关键。
苹果加入战场，发布了自己的大语言模型 MM1，这是一个最高有 30B 规模的多模态 LLM 。MM1模型展现了一些吸引人的特性，如上下文内预测、多图像推理和少样本学习能力。
MM1论文里面对多模态模型训练的过程和参数写的异常详细。现在都反过来了，以前开放的不再开放，以前封闭的现在变得开放了。
论文关键信息：
•
图像分辨率、图像编码器的预训练数据和模型大小对性能有显著影响。
•
视觉-语言连接器的设计相比之下影响较小。
•
预训练数据的混合比例对于少样本和零样本（zero-shot）性能至关重要。
•
通过预训练和SFT，MM1模型在多个基准测试中取得了SOTA性能。
论文中不仅深入讨论了众多架构设计，还透露了他们使用了由GPT-4V生成的数据进行训练。
更令人惊讶的是，他们提供了非常精确的缩放律系数（scaling law coefficients）（精确到四位有效数字）、混合专家设置（MoE settings），甚至是最优学习率函数（optimal learning rate functions）的详细信息。