DiffRhythm(谛韵)是由西北工业大学音频语音与语言处理实验室(ASLP@NPU)与香港中文大学(深圳)联合推出的AI音乐生成模型。采用全diffusion架构,DiffRhythm 能在极短时间内根据歌词生成歌曲。相比 Suno、Udio 等传统模型,DiffRhythm 具备简洁高效的特点,使用基于 LLaMA 的 DiT 结构,仅需提供歌词和风格提示即可完成歌曲生成。

效果见下方示例,模型还有待改进,肯定没法跟录制歌曲相比,想通过这个生成歌曲发布赚钱的就免了。

开源地址:https://github.com/ASLP-lab/DiffRhythm

☞☞☞☞☞☞  一键启动包在右侧下载  ☞☞☞☞☞☞

配置要求:

电脑满足以下配置:

  • 操作系统:Windows 10/11 64位
  • 内存:16G以上
  • 显卡:至少8G及以上显存的英伟达(NVIDIA)显卡
  • CUDA:显卡支持的CUDA版本大于等于12.4版本(如不知道显卡支持的CUDA版本,可点击此链接查看:https://aiyy.info/supported-cuda-versions/
  • 整个包解压完约21.1G,要留足硬盘空间

 

如何查看显卡品牌型号和显存:

  • 打开任务管理器
  • 点击“性能”
  • 点击“GPU”
  • 右上角可以看到显卡型号,下方可以看到显存大小

 

使用教程:

① 打开下载页面(https://aiyy.info/diffrhythm/)点击页面右侧下载按钮,下载整合包之后解压,建议使用winrar解压(解压软件在文件包中,或者可以自己下载安装,下载地址:https://www.winrar.com.cn/

不要用Windows自带解压!!不要用360解压!!

注意:文件夹路径和文件名称(包括音频、图片、视频等文件名称)不要出现中文字符,否则部分软件会因识别不出而报错

② 双击“一键启动.bat”,稍等片刻会在浏览器中自动打开操作界面

③ 输入歌词(注意格式要严格按照右侧的标准格式示例),然后上传参考音频(也可以使用文本提示词),选择音乐时长(支持生成95秒和285秒歌曲,95秒的稳定性较佳),最后点击“生成音乐”

生成结果位于右下方,可以播放试听,点击下载按钮可以保存至指定文件夹

参考音频:

生成结果:

 

④ 歌词生成,程序包含歌词生成功能,但需要自己配置大模型API,去各大官方平台申请,然后填入即可,如果不知道怎么申请或者不知道怎么配置,可以直接去deepseek等各大模型平台输入提示词直接生成歌词。

下面介绍两种生成歌词方式:

1、去大模型平台通过提示词直接生成歌词(以deepseek为例)

进入deepseek官网,输入提示词生成即可,下方为提示词示例:

 

        请围绕怀念、爱恋主题生成一首时长为95秒的符合爵士乐风格的语言为中文的完整歌词。严格遵循以下要求:

### **强制格式规则**
1. **仅输出时间戳和歌词**,禁止任何括号、旁白、段落标记(如副歌、间奏、尾奏等注释)。
2. 每行格式必须为 `[mm:ss.xx]歌词内容`,时间戳与歌词间无空格,歌词内容需完整连贯。
3. 时间戳需自然分布,**第一句歌词起始时间不得为 [00:00.00]**,需考虑前奏空白。
4. 最后一句歌词的时间戳应小于总时长{duration}秒。

### **内容与结构要求**
1. 歌词应富有变化,使情绪递进,整体连贯有层次感。**每行歌词长度应自然变化**,切勿长度一致,导致很格式化。
2. **时间戳分配应根据歌曲的标签、歌词的情感、节奏来合理推测**,而非机械地按照歌词长度分配。
3. 间奏/尾奏仅通过时间空白体现(如从 [02:30.00] 直接跳至 [02:50.00]),**无需文字描述**。

### **负面示例(禁止出现)**
– 错误:[01:30.00](钢琴间奏)
– 错误:[02:00.00][副歌]
– 错误:空行、换行符、注释
“””

 

注意:虽然提示词中包含了时长限制,但生成的歌词时长并不能很好的得到控制,需要手动调整

2、配置大模型API,用软件直接生成歌词

选择“歌词生成”,展开“API设置”可以填写API Ksy、Base URL、模型ID等信息,填写好之后点击保存API设置即可

然后就可以输入要生成歌词的主题、歌曲类型标签,选择歌曲语言,选择时长(生成的歌词时长并不能很好的得到控制,需要手动调整),最后点击“生成LRC”即可,生成结果位于右侧

还可以为歌词添加时间戳,只需填写歌曲风格标签,然后输入无时间戳的原始歌词,最后点击“生成LRC”即可为歌词生成时间戳

生成结果

补充:

如果出现图中提示:“UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xbc in position 1033: illegal multibyte sequence”

进入这个链接:https://aiyy.info/error-resolution/

按照第4个操作方法解决

 

声明: ① 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考赞助计划。 ② 本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。