天风证券:计算机行业专题研究:Text-to-Video的GPT-3时刻已来:OpenAI的SORA模型引领新技术突破
文件列表:
天风证券:计算机行业专题研究:Text-to-Video的GPT-3时刻已来:OpenAI的SORA模型引领新技术突破.pdf |
下载文档 |
资源简介
>
OpenAI发布了最新文生视频大模型SORA,可以生成1分钟长视频,效果显著,在生成的视频细节,内容一致性和指令遵循能力独树一帜
2月16日,OpenAI首次对外公布了SORA文生视频模型,SORA模型可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。相比较而言,RunwayGen2、Pika等AI视频工具,都还在突破几秒内的连贯性,而OpenAI,已经达到了史诗级的纪录。OpenAI目前已经邀请了一支专业的创意人士测试,用于反馈其在专业环境中的实用性。
SORA模型在训练中将不同类型视觉素材统一为时空LatentPatch,采用Diffusion-transformer结构并大规模训练,再次展现“暴力美学”
从technicalreport窥探技术路径,OpenAI在文生视频领域再次展现“暴力美学”,SORA在模型结构上使用了DiffusionTransformer结构,采用了大规模的训练,在数据上将图片和视频统一压缩转换为时空LatentPatches并作为transformer输入,而这一步也使得模型能够在不同分辨率、持续时间和宽高比
加载中...
已阅读到文档的结尾了