Framer 是一款创新的帧插值工具,结合预训练扩散模型与关键点轨迹控制,为用户提供精确的运动过渡定制化能力,上传首尾帧图片,就可以生成首尾帧过渡视频。通过交互式控制和自动优化功能,它在复杂运动场景和显著外观变化情况下实现高质量、自然的视觉效果。

注意:此模型只支持生成512×320宽高分辨率的视频

开源地址:https://github.com/aim-uofa/Framer

☞☞☞☞☞☞  一键启动包在右侧下载  ☞☞☞☞☞☞

 

软件功能:

  • 交互式帧插值:支持用户通过关键点和轨迹的自定义调整,实现精确的局部运动控制。
  • 自动驱动模式:自动检测关键点位置并优化运动轨迹,生成自然且时序一致的结果。
  • 扩散模型驱动:利用预训练的 Stable Video Diffusion 模型,实现帧插值过程中的高分辨率和视觉一致性。
  • 复杂场景处理:能够有效应对复杂的物体运动、形状变化和风格差异。
  • 高效可视化:提供直观的交互界面,实时调整关键点与轨迹,实现即调即见的效果优化。

 

应用场景:

  • 影视制作:在电影或视频制作中,通过帧插值增强慢动作效果或修复不连续的帧过渡。
  • 动画创作:帮助动画师在两帧之间快速生成自然的中间过渡帧。
  • 学术研究:支持计算机视觉领域的时序分析和运动模拟研究。
  • 游戏开发:优化角色动画的流畅性,提升游戏体验。
  • 视觉内容优化:修复低帧率视频或增强短视频的动态表现力,用于社交媒体和创意设计场景。

 

配置要求:

电脑满足以下配置:

  • 操作系统:Windows 10/11 64位
  • 显卡:至少8G显存的英伟达(NVIDIA)显卡
  • CUDA >= 12.1
  • 整个包解压完约41.9G,要留足硬盘空间

电脑如未安装CUDA可以查看安装教程:https://aiyy.info/requirements/

 

如何查看显卡品牌型号和显存:

  • 打开任务管理器
  • 点击“性能”
  • 点击“GPU”
  • 右上角可以看到显卡型号,下方可以看到显存大小

 

使用教程:

① 打开下载页面(https://aiyy.info/framer/)点击页面右侧下载按钮,下载整合包之后解压,建议使用winrar解压(解压软件在文件包中,或者可以自己下载安装,下载地址:https://www.winrar.com.cn/

不要用Windows自带解压!!不要用360解压!!

注意:文件夹路径和文件名称(包括音频、图片、视频等文件名称)不要出现中文字符,否则部分软件会因识别不出而报错

② 双击“一键启动.bat”,稍等片刻会在浏览器中自动打开操作界面

③ 上传起始帧和结束帧图片(图片会被自动调整为 512×320 像素),点击”添加新轨迹”按钮开始绘制运动轨迹,在图片上点击以添加轨迹点(添加每条轨迹点击一次“添加新轨迹”),调整控制强度和运动幅度参数,点击”运行”生成视频

注意:此模型只支持生成512×320宽高分辨率的视频

④ 下方会生成结果预览

⑤ 生成结果在文件包中的“outputs”文件夹中

生成结果:

 

声明: ① 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考赞助计划。 ② 本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。