Sora文档省流总结

发布日期：2024/3/3 19:56:08      浏览量：

内容上：
最大支持60秒高保真视频生成，支持短视频前后扩展，即可保持视频连续，并扩展时长；

支持基于视频 +文本视频编辑，一句话改变原视频，彻底改变视频创作方式；

技术上：
将视频压缩为空间时间块（Spacetime patches），使用 Diffusion Transformer 作为主干网络建模；

由于将视频信息压缩为spacetime patches，因此可支持不同尺寸、时间、分辨率的直接生成；

数据工程：
使用 DALL·E 3 进行视频文本标注；

利用 GPT4 将用户输入的简短提示词，扩充为复杂细节文本；

其他：
物理交互的细节仍有缺陷，如玻璃破碎与水流，雪地脚印无法生成；