请先查看下方配置要求,确认电脑能使用再下载,如果不知道什么是网盘以及什么是电脑配置,请勿下载
Sonic 是由腾讯与浙江大学联合开发的一款音频驱动肖像动画框架,致力于通过精准的音频感知生成自然流畅的面部表情和头部动作。该框架采用了上下文增强音频学习和运动解耦控制器,不仅提升了音频的长期时间感知,还能独立控制头部与表情运动,解决了长视频生成中的抖动和突变问题。Sonic 的优势在于其在视频质量、唇部同步精度、运动多样性和时间连贯性上的出色表现,大幅提升了肖像动画的自然度和连贯性。
这里带来了webUI版本的一键启动整合包和ComfyUI版本的整合包,两个模型都是一样的,喜欢用哪个就下哪个
注意:这个模型对配置要求比较高,生成速度比较慢,不适合长视频生成
开源地址(源码):https://github.com/jixiaozhong/Sonic
开源地址(节点):https://github.com/smthemex/ComfyUI_Sonic
☞☞☞☞☞☞ 一键启动包在右侧下载 ☞☞☞☞☞☞
软件功能:
- 逼真的唇部同步:精准对齐音频与唇部动作,确保视频中说话内容与嘴型完美匹配。
- 丰富的表情与头部动作:生成多样化且自然的面部表情和头部运动,提升动画的表现力与生动感。
配置要求:
电脑满足以下配置:
- 操作系统:Windows 10/11 64位
- 显卡:要求16G及以上显存的英伟达(NVIDIA)显卡,显卡性能越好,处理速度越快(生成速度参考:4060ti 16G显存生成分辨512的10秒视频需要25-30分钟左右,并且生成视频超过1分钟容易超显存报错,4090及以上应该会好很多,据说4090生成10秒512分辨率的视频在6分钟左右)
- CUDA:显卡支持的CUDA版本大于等于12.4版本(如不知道显卡支持的CUDA版本,可点击此链接查看:https://aiyy.info/supported-cuda-versions/)
- webUI版本整个包解压完约20G,ComfyUI版本解压完约26G,要留足硬盘空间
如何查看显卡品牌型号和显存:
- 打开任务管理器
- 点击“性能”
- 点击“GPU”
- 右上角可以看到显卡型号,下方可以看到显存大小
使用教程:
① 打开下载页面(https://aiyy.info/sonic/)点击页面右侧下载按钮,下载整合包之后解压,建议使用winrar解压(解压软件在文件包中,或者可以自己下载安装,下载地址:https://www.winrar.com.cn/)
不要用Windows自带解压!!不要用360解压!!
注意:文件夹路径和文件名称(包括音频、图片、视频等文件名称)不要出现中文字符,否则部分软件会因识别不出而报错
资源包含webUI版本的一键启动整合包和ComfyUI版本的整合包,两个模型都是一样的,喜欢用哪个就下哪个,下面依次带来教程
1、webUI版本的一键启动整合包
② 双击“一键启动.bat”,稍等片刻会自动在浏览器打开操作界面
③ 分别上传图片和音频,打开参数设置可以调整参数,然后点击生成按钮,即可生成视频
(这个模型对配置要求比较高,生成速度比较慢,不适合长视频生成,生成速度参考:4060ti 16G显存生成分辨512的10秒视频需要25-30分钟左右,并且生成视频超过1分钟容易超显存报错,4090及以上应该会好很多,据说4090生成10秒512分辨率的视频在6分钟左右)
点击三角按钮可以打开参数设置栏,参数建议保持默认,也可以适当调整
④ 生成结果位于右侧,可以点击播放进行查看,点击右上角下载按钮可以保存至指定文件夹
在文件包中的“res_path”文件夹中也能找到生成结果
2、ComfyUI版本的整合包
② 双击“一键启动_gpu.bat”,稍等片刻会在浏览器中自动打开操作界面
③ 点击左上角“工作流”,再点击“打开”
④ 选择文件包中的“Sonic数字人工作流.json”,打开
⑤ 上传音频、上传图片,分辨率建议保持默认512,再点击“执行”即可开始生成
(这个模型对配置要求比较高,生成速度比较慢,不适合长视频生成,生成速度参考:4060ti 16G显存生成分辨512的10秒视频需要25-30分钟左右,并且生成视频超过1分钟容易超显存报错,4090及以上应该会好很多,据说4090生成10秒512分辨率的视频在6分钟左右)
右侧为生成结果预览
⑥ 在文件包中的的“ComfyUl/output”文件夹中可以找到生成结果