YuE

一、网站简介

YuE（乐）是一个突破性的开源 AI 音乐生成基础模型，由香港科技大学与 M-A-P 研究团队联合开发，于 2025 年 1 月正式发布。它是首个公开可用的开源全曲生成模型，能够将歌词转化为最长 5 分钟的完整歌曲，包含人声和伴奏两条独立轨道。YuE 基于 LLaMA2 架构构建，在海量音乐数据上进行训练，支持多种语言、多种风格的歌词转歌曲生成，其生成质量可与商业闭源系统媲美甚至超越。项目采用 Apache 2.0 开源协议发布在 GitHub 上，模型权重可在 Hugging Face 免费下载。

二、开发背景

YuE 由香港科技大学与 M-A-P（Multimodal Art Projection）研究团队共同开发。M-A-P 是一个专注于多模态艺术投影的开源研究社区，致力于推动 AI 创意工具的开源化。在 Suno、Udio 等闭源商业 AI 音乐工具迅速崛起的背景下，研究团队意识到开源社区急需一个能够与之抗衡的高质量音乐生成模型。经过大规模训练和技术攻关，YuE 成为首个在完整歌曲生成质量上接近甚至超越商业系统的开源方案，其技术论文已在 arXiv 上公开发布。

三、核心功能

• 歌词转全曲生成：用户输入歌词文本，YuE 即可生成包含人声和伴奏的完整歌曲，最长可达 5 分钟，人声和伴奏分别输出为独立轨道。
• 多语言多风格支持：支持英语、中文、日语、韩语等多种语言歌词，覆盖金属、流行、爵士、说唱、R&B 等丰富音乐风格。
• 上下文学习：用户可输入一段短音频作为参考，YuE 能够学习其风格、人声类型甚至模拟特定歌手的声音进行新曲生成。
• 结构化渐进式生成：模型自动将歌曲拆分为主歌、副歌等逻辑段落，确保旋律和节奏在整首歌曲中保持连贯。
• 本地部署：模型权重完全开源，支持在本地 GPU 上部署运行，量化版本最低仅需约 8GB 显存即可流畅运行。
• LoRA 微调：支持用户使用自己的数据对模型进行 LoRA 微调，实现个性化风格和音色定制。

四、独特亮点

• 首个高质量开源全曲模型：YuE 是第一个公开可用的开源歌词转歌曲模型，在生成质量上与商业系统相当甚至更优，为 AI 音乐研究树立了开源标杆。
• Apache 2.0 许可：采用宽松的开源协议，开发者和音乐人都可以自由使用、修改和商用，无需担心法律风险。
• 学术级技术支撑：技术细节通过 arXiv 论文完整公开，包括架构设计、训练方法和评估体系，为学术研究和工业应用提供了坚实的技术基础。
• 社区生态完善：已有多个社区贡献的衍生工具，包括 Gradio 图形界面、Google Colab 一键运行脚本、Windows 平台安装器等。

五、适用人群

• AI 研究人员：对音乐生成技术感兴趣的学术界和工业界研究者，YuE 提供了完整的技术细节和可复现的实验设置。
• 开源开发者：希望在 YuE 基础上进行二次开发、构建 AI 音乐应用的开发者，Apache 2.0 协议为商业化提供了充分保障。
• 技术型音乐人：拥有一定技术能力、希望使用开源工具进行个性化音乐创作的音乐制作人和爱好者。
• AI 创业者：希望基于开源模型快速搭建 AI 音乐产品的创业者，YuE 提供了高质量的技术底座。

六、应用场景

• 学术研究：高校实验室使用 YuE 作为基线模型，对比不同音乐生成方法的效果，发表 AI 音乐领域的研究论文。
• 开源应用开发：开发者基于 YuE 构建一个面向特定语言或风格的音乐生成 Web 应用，通过 LoRA 微调实现差异化功能。
• 个性化音乐创作：技术型音乐人使用自己的作品数据对 YuE 进行微调，训练出带有个人风格特色的 AI 音乐助手。
• 企业级音乐生产：游戏公司基于 YuE 开发内部音乐生成管线，为不同游戏场景自动生成风格匹配的背景音乐。

七、常见问题（FAQ）

Q：国内能否直接访问 YuE 的 GitHub 和 Demo 页面？
A：YuE 的 GitHub 仓库和 Demo 页面托管在海外平台，国内网络环境下可能无法直接打开，需在特定网络环境下访问。模型权重在 Hugging Face 上托管，同样可能需要特殊网络条件。

Q：YuE 可以商用吗？
A：可以。YuE 采用 Apache 2.0 开源协议，允许商业使用、修改和分发，只需保留版权声明和许可声明即可。

Q：运行 YuE 需要什么硬件配置？
A：YuE 量化版本可在约 8GB 显存的 GPU 上运行。完整模型的推理需要更高配置，建议使用至少 16GB 显存的 GPU 以获得较好的生成速度和体验。

Q：生成的音乐质量与 Suno 相比如何？
A：根据研究团队发布的评测结果，YuE 在音乐性和人声表现力上可与 Suno 等商业系统媲美，在某些维度甚至更优。不过作为开源模型，其易用性和生成稳定性可能不如商业产品。

Q：是否支持音色克隆？
A：YuE 的上下文学习功能支持输入参考音频来引导生成风格和音色，虽然不是专门的音色克隆工具，但可以达到相似的效果。

八、类似网站

• SongGeneration（腾讯）：腾讯 AI Lab 开源的音乐生成大模型，支持文本控制、风格跟随和多轨生成。
• SongBloom（腾讯）：腾讯开源的高质量歌曲生成模型，支持 10 秒参考音频和歌词生成完整歌曲。
• MusicGen（Meta）：Meta 开源的 AI 音乐生成模型，支持文本和旋律条件生成，Apache 2.0 协议。