CogVideoX-Fun 是一个基于 CogVideoX 结构并结合 EasyAnimate 修改后的 pipeline,它的主要亮点是生成条件的灵活性和自由度。该项目支持文字生成视频、图片生成视频以及视频生成视频。简单测试下来效果并没有明显改进,有兴趣的可以玩玩,想像可灵或者Runway一样作为生产力工具的话,个人感觉还有待进一步提升。
开源地址:https://github.com/aigc-apps/CogVideoX-Fun
☞☞☞☞☞☞ 一键启动包在右侧下载 ☞☞☞☞☞☞
软件功能:
- 生成条件自由:相较于标准的 CogVideoX,CogVideoX-Fun 提供了更自由的生成条件,允许用户根据自己的需求调整生成视频的尺寸,支持生成文生视频、图生视频以及视频生成视频。
- 多分辨率视频生成:支持生成不同分辨率的视频,默认设置下可以生成 6 秒左右、帧率为 8 fps 的视频,总帧数在 1 ~ 49 帧之间。
- 直接预测生成:用户可以直接使用已训练好的 CogVideoX-Fun 模型进行视频或图像的生成,无需重新训练,方便快捷。
应用场景:
- AI 视频生成:适用于生成艺术化的 AI 短视频、动画或图像序列,适合应用于广告创作、游戏开发、动画设计等领域。
- 个性化视频定制:用户可以通过训练 Lora 模型进行风格变换,实现个性化视频的定制与生成,适用于需要快速生成特定风格内容的场景。
- AI 创意内容生产:可应用于内容创作领域,例如在短时间内生成高质量的视觉效果,满足社交媒体、广告等创意内容需求。
- 视频创意应用:使用该模型可以轻松生成短视频或动画序列,应用于电影制作、媒体创作以及教育培训等领域。
配置要求:
建议电脑满足以下配置:
- 操作系统:Windows 10/11 64位
- 显卡:建议至少12G显存的英伟达(NVIDIA)显卡,30系及以上,CogVideoX-Fun-2b模型配置需求相对较低,生成速度较快,但效果不如CogVideoX-Fun-5b模型,根据电脑配置酌情选择,如出现超显存报错,则选择CogVideoX-Fun-2b模型
- CUDA >= 11.8
- 整个包解压完接近42G,要留足硬盘空间
CUDA如未安装可以查看安装教程:https://aiyy.info/requirements/
如何查看显卡品牌型号和显存:
- 打开任务管理器
- 点击“性能”
- 点击“GPU”
- 右上角可以看到显卡型号,下方可以看到显存大小
使用教程:
① 打开下载页面(https://aiyy.info/cogvideox-fun/)点击页面右侧下载按钮,下载整合包之后解压,建议使用winrar解压(解压软件下载地址:https://www.winrar.com.cn/)
注意:文件夹路径和文件名称(包括音频、图片、视频等文件名称)不要出现中文字符,否则部分软件会因识别不出而报错
② 双击“一键启动.exe”,稍等片刻会在浏览器中自动打开操作界面
③ 选择模型,(其中包含CogVideoX-Fun-2b和CogVideoX-Fun-5b模型,CogVideoX-Fun-2b对显卡要求相对较低,生成速度较快,但生成效果不如CogVideoX-Fun-5b,两个模型均支持多分辨率(512,768,1024,1280)的视频),然后填写提示词,选择采样器(根据画面不同类型进行选择,如动画选择Euler,写实风格选择DPM等),调整视频宽高尺寸
④ 调整帧数,目前最多支持生成49帧视频,每秒8帧,即最长6秒视频,再选择“文字生成视频”、“图片生成视频”或者“视频生成视频”,“图片生成视频”和“视频生成视频”需要上传参考图片和视频,选择好之后点击生成,等待程序运行完毕,生成结果会位于右侧
⑤ 可以点击“播放按钮”预览,点击右上角“下载按钮”可以保存至指定文件夹
官方案例展示: