新王登基-Meta发布Meta Movie Gen文生视频模型
输入“/”快速插入内容
新王登基-Meta发布Meta Movie Gen文生视频模型
新王登基-Meta发布Meta Movie Gen文生视频模型
用户8537用户85372024年10月9日修改
Meta发布Meta Movie Gen文生视频模型，Meta表示，这是“迄今为止最先进的媒体基础模型（Media Foundation Models）”
注意：模型未公开上线
✍️
媒体报道：
量子位：Meta版Sora无预警来袭！抛弃扩散模型，音视频生成/画面编辑全包，92页论文无保留公开
歸藏的 AI 工具：Meta 发布视频生成和编辑模型，来看看项目负责人的论文导读
论文：
92页的论文，架构、训练细节都公开
movie-gen-research-paper.pdf
11.59MB
CONTRASTIVE LOCALIZED LANGUAGE-IMAGE PRE-TRAINING
2410.02746v1.pdf
9.25MB
CLIP 偏重于图像和文本的整体对齐，适合处理全图级别的任务；
CLOC 则更侧重于区域级别的对齐，能够增强对图像中局部区域的理解和定位，更适合那些需要更细粒度视觉信息的任务。
CLIP 是整体的，CLOC 更关注细节。CLOC 提供了更强的区域识别能力，弥补了 CLIP 在细粒度视觉任务上的不足
Sora有的它都有，可创建不同宽高比的高清长视频，支持1080p、16秒、每秒16帧。
Sora没有的它还有，能生成配套的背景音乐和音效、根据文本指令编辑视频，以及根据用户上传的图像生成个性化视频。
Text input summary: The camera is behind a man. The man is shirtless, wearing a green cloth around his waist. He is barefoot. With a fiery object in each hand, he creates wide circular motions. A calm sea is in the background. The atmosphere is mesmerizing, with the fire dance.
文字输入摘要：摄像机在一个人的后面。男子赤裸上身，腰间系着一块绿布。他赤着脚。他双手各握一个炽热的物体，做出大范围的圆周运动。背景是平静的大海。伴随着火舞，气氛令人着迷。
Text input summary: A fluffy koala bear surfs. It has a grey and white coat and a round nose. The surfboard is yellow. The koala bear is holding onto the surfboard with its paws. The koala bear’s facial expression is focused. The sun is shining.
文本输入摘要：一只毛茸茸的考拉熊在冲浪。它有灰白相间的皮毛和圆鼻子。冲浪板是黄色的。考拉熊用爪子抓住冲浪板。考拉熊的面部表情很专注。阳光明媚。
50%
50%