OpenAI News精选评分 60
OpenAI 发布 Sora:把视频生成模型当作世界模拟器——在时长、分辨率、宽高比各异的视频与图像上联合训练文条件扩散模型,最大模型能生成一分钟高保真视频
Video generation models as world simulators
OpenAI 研究团队发表《作为世界模拟器的视频生成模型》一文,介绍在大规模视频数据上训练生成式模型的进展。具体做法是在时长、分辨率与宽高比各异的视频和图像上,联合训练文条件的扩散模型;架构上用一个作用于视频与图像隐码时空 patch 的 Transformer。其最大模型 Sora 能生成一分钟的高保真视频。团队认为,扩展视频生成模型是通向构建通用物理世界模拟器的一条有前景的路径。
推荐理由:把文生视频定位为世界模拟器,是这一代视频生成路线的标志性一手;发布主文与论断俱在。