LatentSync 是字节跳动推出的一种基于音频条件的端到端唇同步技术，通过潜在扩散模型和时间表示对齐技术（TREPA），实现高质量、时间一致的动态视频生成，并优化了 SyncNet 的收敛问题，使唇同步的准确性达到更高水平。实际测试下来，英文效果还行，但是中文效果欠佳，1.5版本对中文有提升，但效果也很有限。

2025.1.9更新：在原版基础上增加提升视频清晰度，上传视频时长短于音频时长时，采用正序→倒序→正序→倒序……的循环方式，让视频更连贯自然

2025.1.11更新：修复s3fd模型需要重新下载的问题

2025.3.19更新：更新1.5版本模型

开源地址：https://github.com/bytedance/LatentSync

☞☞☞☞☞☞  一键启动包在右侧下载  ☞☞☞☞☞☞

原视频

1.0版本中文效果

1.0版本英文效果

1.5版本中文+提升视频分辨率效果

 

视频教程：

软件功能：

  • 端到端唇同步框架：无需中间运动表示，直接根据音频生成同步的唇部动作。
  • 高质量视频生成：利用 Stable Diffusion 技术，生成动态逼真的说话视频，适用于各种场景。
  • SyncNet 优化：通过优化训练流程，提高 SyncNet 在复杂场景下的收敛性和准确性。
  • 灵活的噪声建模：采用混合噪声模型，确保输入噪声的时间一致性，提升生成效果。

 

应用场景：

  • 影视制作与后期：帮助制作高质量的配音视频，轻松实现角色的唇部动作同步。
  • 虚拟人物和数字人：在虚拟主播、智能助理等场景中生成自然、同步的唇部动作。
  • 教育和培训视频：为教学内容或在线培训视频生成高质量的配音和唇部同步效果。
  • 社交媒体和短视频创作：提供用户友好的音频驱动动画功能，增强创作者的表达能力。
  • 研究与技术开发：为视听结合、生成建模和人机交互等领域提供新的技术解决方案。

 

配置要求：

电脑满足以下配置：

  • 操作系统：Windows 10/11 64位
  • 内存：16G以上
  • 显卡：至少8G及以上显存的英伟达（NVIDIA）显卡
  • CUDA：显卡支持的CUDA版本大于等于12.1版本（如不知道显卡支持的CUDA版本，可点击此链接查看：https://aiyy.info/supported-cuda-versions/）
  • 整个包解压完约21.3G，要留足硬盘空间

 

如何查看显卡品牌型号和显存：

  • 打开任务管理器
  • 点击“性能”
  • 点击“GPU”
  • 右上角可以看到显卡型号，下方可以看到显存大小

 

使用教程：

① 打开下载页面（https://aiyy.info/latentsync/）点击页面右侧下载按钮，下载整合包之后解压，建议使用winrar解压（解压软件在文件包中，或者可以自己下载安装，下载地址：https://www.winrar.com.cn/）

不要用Windows自带解压！！不要用360解压！！

注意：文件夹路径和文件名称（包括音频、图片、视频等文件名称）不要出现中文字符，否则部分软件会因识别不出而报错

② 双击“一键启动.bat”，稍等片刻会在浏览器中自动打开操作界面

③ 上传一个人物视频（MP4格式，建议时长超过音频时长，如果时长短于音频，则采用正序→倒序→正序→倒序……的循环方式，让视频更连贯自然），上传音频文件（支持常见音频格式），如需提升分辨率，请勾选”提升分辨率”，并选择GFPGAN版本和放大倍数，点击”生成”按钮开始处理

注意：视频中人物面部要清晰可见，视频中间不能出现人物离开画面或黑屏情况，否则会因无法检测到人脸而报错，处理时间取决于视频长度和设备性能

等待处理完成后，右侧将显示生成的结果视频

④ 可以播放查看，点击右上角下载按钮可以保存至指定文件夹

⑤ 也可以在文件包中的“outputs”文件夹中找到生成结果

其中有原分辨率生成结果以及提升分辨率之后的生成结果，带“enhanced”后缀的是提升分辨率之后的生成结果

 

声明： ① 本站所有资源版权均属于原作者所有，这里所提供资源均只能用于参考学习用，请勿直接商用。若由于商用引起版权纠纷，一切责任均由使用者承担。更多说明请参考赞助计划。 ② 本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。