LatentSync 是字节跳动推出的一种基于音频条件的端到端唇同步技术，通过潜在扩散模型和时间表示对齐技术（TREPA），实现高质量、时间一致的动态视频生成，并优化了 SyncNet 的收敛问题，使唇同步的准确性达到更高水平。实际测试下来，英文效果还行，但是中文效果欠佳，下方有测试的示例可以自行查看，总体来说就是凑活能用，追求中文高度唇形同步的就不用下载了。
2025.1.9更新：在原版基础上增加提升视频清晰度，上传视频时长短于音频时长时，采用正序→倒序→正序→倒序……的循环方式，让视频更连贯自然
2025.1.11更新：修复s3fd模型需要重新下载的问题
开源地址：https://github.com/bytedance/LatentSync
☞☞☞☞☞☞ 一键启动包在右侧下载 ☞☞☞☞☞☞
原视频
中文效果
英文效果
视频教程：
软件功能：
- 端到端唇同步框架：无需中间运动表示，直接根据音频生成同步的唇部动作。
- 高质量视频生成：利用 Stable Diffusion 技术，生成动态逼真的说话视频，适用于各种场景。
- SyncNet 优化：通过优化训练流程，提高 SyncNet 在复杂场景下的收敛性和准确性。
- 灵活的噪声建模：采用混合噪声模型，确保输入噪声的时间一致性，提升生成效果。
应用场景：
- 影视制作与后期：帮助制作高质量的配音视频，轻松实现角色的唇部动作同步。
- 虚拟人物和数字人：在虚拟主播、智能助理等场景中生成自然、同步的唇部动作。
- 教育和培训视频：为教学内容或在线培训视频生成高质量的配音和唇部同步效果。
- 社交媒体和短视频创作：提供用户友好的音频驱动动画功能，增强创作者的表达能力。
- 研究与技术开发：为视听结合、生成建模和人机交互等领域提供新的技术解决方案。
配置要求：
电脑满足以下配置：
- 操作系统：Windows 10/11 64位
- 显卡：至少8G显存的英伟达（NVIDIA）显卡
- CUDA >= 12.1
- 整个包解压完约18.7G，要留足硬盘空间
电脑如未安装CUDA可以查看安装教程：https://aiyy.info/requirements/
如何查看显卡品牌型号和显存：
- 打开任务管理器
- 点击“性能”
- 点击“GPU”
- 右上角可以看到显卡型号，下方可以看到显存大小
使用教程：
① 打开下载页面（https://aiyy.info/latentsync/）点击页面右侧下载按钮，下载整合包之后解压，建议使用winrar解压（解压软件在文件包中，或者可以自己下载安装，下载地址：https://www.winrar.com.cn/）
不要用Windows自带解压！！不要用360解压！！
注意：文件夹路径和文件名称（包括音频、图片、视频等文件名称）不要出现中文字符，否则部分软件会因识别不出而报错
② 双击“一键启动.bat”，稍等片刻会在浏览器中自动打开操作界面
③ 上传一个人物视频（MP4格式，建议时长超过音频时长，如果时长短于音频，则采用正序→倒序→正序→倒序……的循环方式，让视频更连贯自然），上传音频文件（支持常见音频格式），如需提升分辨率，请勾选”提升分辨率”，并选择GFPGAN版本和放大倍数点击”生成”按钮开始处理
注意：视频中人物面部要清晰可见，处理时间取决于视频长度和设备性能
等待处理完成后，右侧将显示生成的结果视频
④ 可以播放查看，点击右上角下载按钮可以保存至指定文件夹
⑤ 也可以在文件包中的“outputs”文件夹中找到生成结果
其中有原分辨率生成结果以及提升分辨率之后的生成结果，带“enhanced”后缀的是提升分辨率之后的生成结果
