请先查看下方配置要求,确认电脑能使用再下载,如果不知道什么是网盘、什么是压缩包以及什么是电脑配置,请勿下载
DiffRhythm(谛韵)是由西北工业大学音频语音与语言处理实验室(ASLP@NPU)与香港中文大学(深圳)联合推出的AI音乐生成模型。采用全diffusion架构,DiffRhythm 能在极短时间内根据歌词生成歌曲。相比 Suno、Udio 等传统模型,DiffRhythm 具备简洁高效的特点,使用基于 LLaMA 的 DiT 结构,仅需提供歌词和风格提示即可完成歌曲生成。
效果见下方示例,模型还有待改进,肯定没法跟录制歌曲相比,想通过这个生成歌曲发布赚钱的就免了。
开源地址:https://github.com/ASLP-lab/DiffRhythm
☞☞☞☞☞☞ 一键启动包在右侧下载 ☞☞☞☞☞☞
配置要求:
电脑满足以下配置:
- 操作系统:Windows 10/11 64位
- 内存:16G以上
- 显卡:至少8G及以上显存的英伟达(NVIDIA)显卡
- CUDA:显卡支持的CUDA版本大于等于12.4版本(如不知道显卡支持的CUDA版本,可点击此链接查看:https://aiyy.info/supported-cuda-versions/)
- 整个包解压完约21.1G,要留足硬盘空间
如何查看显卡品牌型号和显存:
- 打开任务管理器
- 点击“性能”
- 点击“GPU”
- 右上角可以看到显卡型号,下方可以看到显存大小
使用教程:
① 打开下载页面(https://aiyy.info/diffrhythm/)点击页面右侧下载按钮,下载整合包之后解压,建议使用winrar解压(解压软件在文件包中,或者可以自己下载安装,下载地址:https://www.winrar.com.cn/)
不要用Windows自带解压!!不要用360解压!!
注意:文件夹路径和文件名称(包括音频、图片、视频等文件名称)不要出现中文字符,否则部分软件会因识别不出而报错
② 双击“一键启动.bat”,稍等片刻会在浏览器中自动打开操作界面
③ 输入歌词(注意格式要严格按照右侧的标准格式示例),然后上传参考音频(也可以使用文本提示词),选择音乐时长(支持生成95秒和285秒歌曲,95秒的稳定性较佳),最后点击“生成音乐”
生成结果位于右下方,可以播放试听,点击下载按钮可以保存至指定文件夹
参考音频:
生成结果:
④ 歌词生成,程序包含歌词生成功能,但需要自己配置大模型API,去各大官方平台申请,然后填入即可,如果不知道怎么申请或者不知道怎么配置,可以直接去deepseek等各大模型平台输入提示词直接生成歌词。
下面介绍两种生成歌词方式:
1、去大模型平台通过提示词直接生成歌词(以deepseek为例)
进入deepseek官网,输入提示词生成即可,下方为提示词示例:
请围绕怀念、爱恋主题生成一首时长为95秒的符合爵士乐风格的语言为中文的完整歌词。严格遵循以下要求:
### **强制格式规则**
1. **仅输出时间戳和歌词**,禁止任何括号、旁白、段落标记(如副歌、间奏、尾奏等注释)。
2. 每行格式必须为 `[mm:ss.xx]歌词内容`,时间戳与歌词间无空格,歌词内容需完整连贯。
3. 时间戳需自然分布,**第一句歌词起始时间不得为 [00:00.00]**,需考虑前奏空白。
4. 最后一句歌词的时间戳应小于总时长{duration}秒。### **内容与结构要求**
1. 歌词应富有变化,使情绪递进,整体连贯有层次感。**每行歌词长度应自然变化**,切勿长度一致,导致很格式化。
2. **时间戳分配应根据歌曲的标签、歌词的情感、节奏来合理推测**,而非机械地按照歌词长度分配。
3. 间奏/尾奏仅通过时间空白体现(如从 [02:30.00] 直接跳至 [02:50.00]),**无需文字描述**。### **负面示例(禁止出现)**
– 错误:[01:30.00](钢琴间奏)
– 错误:[02:00.00][副歌]
– 错误:空行、换行符、注释
“””
注意:虽然提示词中包含了时长限制,但生成的歌词时长并不能很好的得到控制,需要手动调整
2、配置大模型API,用软件直接生成歌词
选择“歌词生成”,展开“API设置”可以填写API Ksy、Base URL、模型ID等信息,填写好之后点击保存API设置即可
然后就可以输入要生成歌词的主题、歌曲类型标签,选择歌曲语言,选择时长(生成的歌词时长并不能很好的得到控制,需要手动调整),最后点击“生成LRC”即可,生成结果位于右侧
还可以为歌词添加时间戳,只需填写歌曲风格标签,然后输入无时间戳的原始歌词,最后点击“生成LRC”即可为歌词生成时间戳
生成结果
补充:
如果出现图中提示:“UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xbc in position 1033: illegal multibyte sequence”
进入这个链接:https://aiyy.info/error-resolution/
按照第4个操作方法解决