ControlNeXt 是一款创新图像和视频生成控制工具,在视频生成模型 SVD 的支持下,ControlNeXt 实现了对人体姿势和动作的精准控制,甚至可以精确模仿手指的动作。用户可以通过提供参考图像,生成包含舞蹈、武术、行走等动态视频。这款工具大幅提升了视频生成的自由度和细节控制,适用于多种创意和技术应用。

 

开源地址:https://github.com/dvlab-research/ControlNeXt/

☞☞☞☞☞☞  右侧下载整合包  ☞☞☞☞☞☞

 

软件功能:

  • 姿势控制生成:ControlNeXt 可通过图片控制生成视频,实现对人体姿势、动作的精准模拟,甚至能逼真再现手指动作。
  • 图像参考视频生成:用户可使用图片作为参考,自动生成相应姿势和动作的动态视频,支持舞蹈、武术、走路等多种动态场景。
  • 精细动作捕捉:不仅能捕捉整体动作,连细节如手指等局部动作都能实现精准控制,提升生成视频的真实感。
  • 高效生成:基于 SVD 视频生成模型,ControlNeXt 在保持视频高质量的前提下,具备较高的生成效率,适合大规模视频生成任务。

 

应用场景:

  • 影视与动画制作:ControlNeXt 可以在影视或动画制作中用于生成逼真的角色动作,提升特效场景中的动作表现力,减少对真人动作捕捉的依赖。
  • 游戏开发:在游戏开发中,该工具可用于生成角色的动态动作,如战斗、舞蹈或行走,丰富游戏中的动作表现。
  • 虚拟人和数字内容创作:虚拟偶像、虚拟主播等数字内容创作中,ControlNeXt 可通过参考图片生成丰富的动作视频,提升虚拟人物的表现力。
  • 体育训练与动作模拟:ControlNeXt 可以在体育教学和训练中用于模拟复杂的动作,帮助运动员或教练更好地分析动作细节,提高训练效率。
  • 舞蹈与艺术创作:该工具能够生成舞蹈等艺术动作的视频,便于艺术家创作和展示作品,为舞蹈编排提供丰富的参考素材。

 

配置要求:

建议电脑满足以下配置:

  • 操作系统:Windows 10/11 64位
  • 显卡:建议12G显存及以上的英伟达(NVIDIA)显卡,
  • CUDA >= 12.1
  • 整个包解压完接近30G,要留足硬盘空间

CUDA如未安装可以查看安装教程:https://aiyy.info/requirements/

 

如何查看显卡品牌型号和显存:

  • 打开任务管理器
  • 点击“性能”
  • 点击“GPU”
  • 右上角可以看到显卡型号,下方可以看到显存大小

 

使用教程:

① 打开下载页面(https://aiyy.info/controlnext-svd-v2/)点击页面右侧下载按钮,下载整合包之后解压,建议使用winrar解压(解压软件下载地址:https://www.winrar.com.cn/

注意:文件夹路径和文件名称(包括音频、图片、视频等文件名称)不要出现中文字符,否则部分软件会因识别不出而报错

 

② 双击“一键启动.exe”,稍等片刻会在浏览器中自动打开操作界面

 

 

③ 上传图片,上传参考视频,高级选项中可以调整宽高等数值,但分辨率调高之后对配置要求会更高,所以数值建议保持默认,点击“Run Inference”即可开始生成

 

 

 

④ 下方的文本框中会显示生成进度,当底部出现视频保存路径时,表示视频已生成完毕,在文件包中的“outputs”文件夹中可以找到生成结果

 

 

 

⑤ 但此时生成的视频可能会出现面部扭曲的情况,可以通过换脸软件进行修正

建议使用facefusion进行修正:https://aiyy.info/facefusion/

选择face_swapper(脸部替换)、face_enhancer(脸部高清化),选择运行方式,显卡运行选择cuda,CPU运行即选择CPU,FACE MASK TYPES(遮罩类型)选择occlusion,具体操作教程可以在facefusion教程中查看(https://aiyy.info/facefusion/

 

 

 

修复后脸部扭曲现象会得到改善

 

 

声明: ① 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考赞助计划。 ② 本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。