VidMuse 是由香港科技大学与微软亚洲研究院联合开发的视频生成音乐框架，采用长短期记忆模型（Long-Short-Term Modeling）实现视频与音乐的同步生成。它通过分析视频的视觉特征和情感内容，生成与之协调的背景音乐，确保旋律与节奏匹配视频场景。VidMuse 类似于之前分享的MMAudio，但 MMAudio 主要生成视频场景对应的音效，而 VidMuse 则专注于生成完整的背景音乐，使视频内容更加生动和富有感染力。可以为AI生成的视频增加背景音乐。

开源地址：https://github.com/ZeyueT/VidMuse

☞☞☞☞☞☞  一键启动包在右侧下载  ☞☞☞☞☞☞

 

配置要求：

电脑满足以下配置：

  • 操作系统：Windows 10/11 64位
  • 内存：16G以上
  • 显卡：至少8G及以上显存的英伟达（NVIDIA）显卡
  • CUDA：显卡支持的CUDA版本大于等于12.4版本（如不知道显卡支持的CUDA版本，可点击此链接查看：https://aiyy.info/supported-cuda-versions/）
  • 整个包解压完约21G，要留足硬盘空间

 

如何查看显卡品牌型号和显存：

  • 打开任务管理器
  • 点击“性能”
  • 点击“GPU”
  • 右上角可以看到显卡型号，下方可以看到显存大小

 

使用教程：

① 打开下载页面（https://aiyy.info/vidmuse/）点击页面右侧下载按钮，下载整合包之后解压，建议使用winrar解压（解压软件在文件包中，或者可以自己下载安装，下载地址：https://www.winrar.com.cn/）

不要用Windows自带解压！！不要用360解压！！

注意：文件夹路径和文件名称（包括音频、图片、视频等文件名称）不要出现中文字符，否则部分软件会因识别不出而报错

 

② 双击“一键启动.bat”，稍等片刻会在浏览器中自动打开操作界面

③ 上传视频，然后点击“开始生成”即可

④ 生成结果位于右侧，可以播放视频查看，也可以播放音乐试听，分别点击右上角下载按钮可以保存至指定文件夹

⑤ 如果对生成结果不满意，可以打开“参数设置”，根据说明对参数进行调节，主要调节“温度系数”和“引导系数”

⑥ 生成结果自动保存在文件包中的“demo_result”文件夹中

 

声明： ① 本站所有资源版权均属于原作者所有，这里所提供资源均只能用于参考学习用，请勿直接商用。若由于商用引起版权纠纷，一切责任均由使用者承担。更多说明请参考赞助计划。 ② 本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。