文件列表:
开源证券:通信行业点评报告:META发布视频生成模型,AI算力为核心主攻方向.pdf |
下载文档 |
资源简介
>
Meta发布MovieGen模型,AI多模态能力持续提升
2024年10月4日,Meta发布视频及音频生成模型MetaMovieGen,可生成具有同步音频、个性化角色并支持视频编辑的视频,MovieGen包括30B参数的MovieGenVideo视频生成模型以及13B参数的MovieGenAudio音频生成模型。其中,MovieGenVideo模型基于约1亿对文本视频数据以及10亿对文本图片配对数据进行预训练,主要用于联合文生图和文生视频,能够理解物体运动、交互、几何、相机运动和物理规律,可按照文本提示生成4~16秒1080P帧率为16FPS的高清视频,支持1:1、9:16、16:9等多个比例,模型在训练上采用张量并行化(TP)、序列并行化(SP)、上下文并行化(CP)和全共享式数据并行(FSDP)方式,并使用监督微调(SFT)等方式进行模型调优,以提高模型性能,MovieGenVideo在多个维度超过了RunwayGen3、OpenAISora等同类竞品,在动作一致性和自然度等方面表现出色;MovieGenAudio模型基于约100万小时的音频数据进行预训练,主要用于生成与视频输入同
加载中...
已阅读到文档的结尾了