Framer 是一款创新的帧插值工具,结合预训练扩散模型与关键点轨迹控制,为用户提供精确的运动过渡定制化能力,上传首尾帧图片,就可以生成首尾帧过渡视频。通过交互式控制和自动优化功能,它在复杂运动场景和显著外观变化情况下实现高质量、自然的视觉效果。
注意:此模型只支持生成512×320宽高分辨率的视频
开源地址:https://github.com/aim-uofa/Framer
☞☞☞☞☞☞ 一键启动包在右侧下载 ☞☞☞☞☞☞
软件功能:
- 交互式帧插值:支持用户通过关键点和轨迹的自定义调整,实现精确的局部运动控制。
- 自动驱动模式:自动检测关键点位置并优化运动轨迹,生成自然且时序一致的结果。
- 扩散模型驱动:利用预训练的 Stable Video Diffusion 模型,实现帧插值过程中的高分辨率和视觉一致性。
- 复杂场景处理:能够有效应对复杂的物体运动、形状变化和风格差异。
- 高效可视化:提供直观的交互界面,实时调整关键点与轨迹,实现即调即见的效果优化。
应用场景:
- 影视制作:在电影或视频制作中,通过帧插值增强慢动作效果或修复不连续的帧过渡。
- 动画创作:帮助动画师在两帧之间快速生成自然的中间过渡帧。
- 学术研究:支持计算机视觉领域的时序分析和运动模拟研究。
- 游戏开发:优化角色动画的流畅性,提升游戏体验。
- 视觉内容优化:修复低帧率视频或增强短视频的动态表现力,用于社交媒体和创意设计场景。
配置要求:
电脑满足以下配置:
- 操作系统:Windows 10/11 64位
- 显卡:至少8G显存的英伟达(NVIDIA)显卡
- CUDA >= 12.1
- 整个包解压完约41.9G,要留足硬盘空间
电脑如未安装CUDA可以查看安装教程:https://aiyy.info/requirements/
如何查看显卡品牌型号和显存:
- 打开任务管理器
- 点击“性能”
- 点击“GPU”
- 右上角可以看到显卡型号,下方可以看到显存大小
使用教程:
① 打开下载页面(https://aiyy.info/framer/)点击页面右侧下载按钮,下载整合包之后解压,建议使用winrar解压(解压软件在文件包中,或者可以自己下载安装,下载地址:https://www.winrar.com.cn/)
不要用Windows自带解压!!不要用360解压!!
注意:文件夹路径和文件名称(包括音频、图片、视频等文件名称)不要出现中文字符,否则部分软件会因识别不出而报错
② 双击“一键启动.bat”,稍等片刻会在浏览器中自动打开操作界面
③ 上传起始帧和结束帧图片(图片会被自动调整为 512×320 像素),点击”添加新轨迹”按钮开始绘制运动轨迹,在图片上点击以添加轨迹点(添加每条轨迹点击一次“添加新轨迹”),调整控制强度和运动幅度参数,点击”运行”生成视频
注意:此模型只支持生成512×320宽高分辨率的视频
④ 下方会生成结果预览
⑤ 生成结果在文件包中的“outputs”文件夹中
生成结果: