OpenAI 发布 Sora：把视频生成模型当作世界模拟器——在时长、分辨率、宽高比各异的视频与图像上联合训练文条件扩散模型，最大模型能生成一分钟高保真视频
Video generation models as world simulators
精选评分 60
导读
OpenAI 研究团队发表《作为世界模拟器的视频生成模型》一文，介绍在大规模视频数据上训练生成式模型的进展。具体做法是在时长、分辨率与宽高比各异的视频和图像上，联合训练文条件的扩散模型；架构上用一个作用于视频与图像隐码时空 patch 的 Transformer。其最大模型 Sora 能生成一分钟的高保真视频。团队认为，扩展视频生成模型是通向构建通用物理世界模拟器的一条有前景的路径。
推荐理由
把文生视频定位为世界模拟器，是这一代视频生成路线的标志性一手；发布主文与论断俱在。
主体与标签
OpenAI#模型发布#视频#多模态
正文
We explore large-scale training of generative models on video data. Specifically, we train text-conditional diffusion models jointly on videos and images of variable durations, resolutions and aspect ratios. We leverage a transformer architecture that operates on spacetime patches of video and image latent codes. Our largest model, Sora, is capable of generating a minute of high fidelity video. Our results suggest that scaling video generation models is a promising path towards building general purpose simulators of the physical world.