I2V-Adapter:直接从图片生成视频

I2V-Adapter:直接从图片生成视频

快手也发布了一个视频生成模型 I2V-Adapter。主要用于从图片获取信息直接生成视频,这个项目可以与已有的 SD 生态比如ContorlNet等结合。又有可以玩的了。

提出了一种新的解决方案——I2V-Adapter,旨在解决这些限制。
保留了T2I模型的结构完整性和它们内在的运动模块。
I2V-Adapter通过并行处理带有噪声的视频帧和输入图像,使用了一个轻量级的适配器模块。这个模块就像一座桥梁,高效地将输入与模型的自注意力机制连接起来,从而在不需要对T2I模型进行结构性改动的情况下保持空间细节。
I2V-Adapter:直接从图片生成视频

正文完