Stability AI开源47秒音频生成模型，虫鸣鸟叫、摇滚、鼓点都能生成

音频生成领域又有好消息：刚刚，stability ai 宣布推出开放模型 stable audio open，该模型能够生成高质量的音频数据。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

项目地址：https://huggingface.co/stabilityai/stable-audio-open-1.0

与Stability AI的商业Stable Audio产品（可生成长达三分钟的更长、连贯的音乐曲目）不同，Stable Audio Open可通过简单的文本提供生成长达47秒的高质量音频数据。

这个模型是为音乐制作和声音设计而创建的。它包括鼓点、乐器riffs、环境音、拟声录音和其他用于音乐制作和声音设计的音频样本。虽然它可以生成简短的音乐片段，但它还没有针对完整的歌曲、旋律或人声进行优化。

Stable Audio Open 的主要优势在于，用户可以根据自己的自定义音频数据对模型进行微调。

比如，下方是鼓手根据自己的鼓声录音样本进行微调生成的新节拍：生成森林中鸟儿唱歌的音频： 再生成一段「动次打次」的摇滚乐： 训练细节与数据集

Stable+Audio+Open是基于Transformer架构的潜在扩散模型。由三个组件组成：将波形压缩为可管理序列长度的自编码器、用于文本调节的基于T5的文本嵌入，以及在自编码器和文本嵌入中运行的基于Transformer的扩散（DiT）模型。这个模型的设计旨在在空间效率和语音生成质量之间取得平衡。

在内部的音乐生成器中，随着包括Stability在内的一些生成器越来越受欢迎，版权以及一些生成器创建者可能滥用版权的问题成为人们关注的焦点。然而，一些生成器创建者可以满用版权的方式成为人们关注的焦点。

在本次模型训练中，稳定性和人工智能会对训练数据的质量进行监测，以保证模型的稳定性。在文生图模型训练上的“版权问题”曾经让这家公司深陷争议之中。因此，Stable+Audio+Open使用来自FreeSound和Free Music Archive的音频数据进行训练，以确保没有使用任何受版权保护或专有的材料。这样可以确保任何使用Stable+Audio+Open的个人或机构都不会侵犯任何版权或专有权。

数据集共包含 486492 个音频记录，其中 472618 个来自 Freesound，13874 个来自 Free Music Archive 。所有音频文件均为 CC0、CC BY 或 CC Sampling+ 许可。这些数据用于训练自编码器和 DiT，此外研究者使用了公开的预训练 T5 模型（t5-base）进行文本调节。

在开始训练之前，研究者进行了深入分析，以确保训练数据中没有未经授权的版权音乐。

他们首先使用基于 AudioSet 类别的 PANNs 音乐分类器识别了 FreeSound 中的音乐样本。被识别的音乐样本中至少有 30 秒的音乐被预测为属于音乐相关类别，阈值为 0.15（PANNs 输出概率范围为 0 至 1）。

灵感PPT

AI灵感PPT - 免费一键PPT生成工具

308 查看详情

识别出的音乐样本被发送到 Audible Magic（一家值得信赖的内容检测公司）的识别服务，以确保不存在受版权保护的音乐。Audible Magic 标记了疑似受版权保护的音乐，这些会被删除，然后再对数据集进行训练。大部分被删除的内容都是现场录音，其中的背景音乐都是受版权保护的。经过上述处理后，研究者得到了 266324 个 CC0、194840 个 CC-BY 和 11454 个 CC 采样 + 音频记录。

最后要确保的是， FMA 子集中不存在受版权保护的内容。在这种情况下，程序略有不同，因为 FMA 子集中包含音乐信号。研究者根据大型版权音乐数据库进行元数据搜索，并标记任何可能匹配的内容，被标记的内容会由人工逐一审核。这一过程之后，最终获得了 8967 首 CC-BY 和 4907 首 CC0 音乐。

局限性

Stable Audio Open 1.0 作为一个音频生成模型，也有一些局限性，包括：

• 无法生成逼真的声音；

• 使用英语描述进行训练，在其他语言中的表现不会那么好；

• 不能适用于所有音乐风格和文化，训练数据缺乏多样性，模型可能无法在现有的各种音乐流派和声音效果上表现得同样好；

• 有时很难评估哪种类型的文本描述可以提供最佳的生成效果，可能需要进行工程设计才能获得令人满意的结果。

值得注意的是，Stable Audio Open 是一个开放模型，但是从技术上讲它不是开源的。Stable Audio Open 并未使用实际的开放源代码促进会 (OSI) 批准的许可证，而是根据 Stability AI 非商业研究社区协议许可证向用户提供。 

与此同时，Stable Audio Open 也不能用于商业用途；服务条款禁止这样做。而且，它在不同音乐风格和文化中的表现并不一样好，或者在使用英语以外的语言描述时也表现不佳。

Stability AI 将此归咎于训练数据。模型描述中写道：「数据源可能缺乏多样性，数据集中并非所有文化都具有同等代表性。模型生成的样本将反映训练数据的偏差。」

以上就是Stability AI开源47秒音频生成模型，虫鸣鸟叫、摇滚、鼓点都能生成的详细内容，更多请关注其它相关文章！

# 数据搜索  # 网站如何邮件推广  # 班级网站建设总结怎么写  # 潍坊品质网站优化公司  # 英语  # 量产  # 丰田  # 都是  # 的是  # 自己的  # 鸣鸟  # 版权保护  # 开源  # 都能  # stable audio  # udio  # follow  # 产业  # 网站的搜索推广是什么  # 长沙整站seo优化技术  # 网站建设系统代理加盟  # 网站优化推广哪家正规  # 网站优化营销哪个公司好  # 抖音seo哪个软件好  # 怎么推广营销广告文案呢 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 热点资讯：家乐福推出聊天机器人；米哈游2025年营收273.4亿元…  【澎湃原动力】人工智能产业协同创新中心：全产业链资源在这里汇聚  华为昇腾AI原生支持30多种基础大模型，包括GPT  OpenOOD更新v1.5：全面、精确的分布外检测代码库及测试平台，支持在线排行榜、一键测试  Bing Chat 和 Bing Search 正式引入深色模式  创新全场景清洁方案！海尔商用机器人首发上市  人工智能驱动艺术，打开达利的超现实想象  基于预训练模型的金融事件分析及应用  九号公司主导制定短途交通和送物机器人领域首个国际标准，标志着零的突破发布  三星加速AR眼镜进程，预计明年上半年亮相  联通发布鸿湖图文AI大模型1.0，可实现以文生图  「从未被制造出的最重要机器」，艾伦·图灵及图灵机那些事  郭帆：AI发展日新月异，或是弯道超车好莱坞的最好机会  财联社首档运用虚拟人技术播报栏目《AI半小时》今晚上线！敬请期待  2025VR&AR显示技术峰会展示歌尔光学最新一代光学模组  AI 模型 Stable Diffusion 升级：正常生成五指、图像更逼真  AIGC 风潮刮到游戏产业，巨人网络与阿里云达成“游戏 +AI ”合作  能走、能飞、能游泳，科学家打造全能 M4 机器人  IBM将模拟计算用于人工智能，重塑AI计算  干货满满，2025昆山元宇宙国际装备展等你来打卡！  2025 世界人工智能大会闭幕，32 个重大产业签约总额达 288 亿元  周鸿祎：用超级AI实现室温超导和核聚变，实现能源自由  眼球反射解锁3D世界，黑镜成真！马里兰华人新作炸翻科幻迷  云深处与昇腾CANN携手合作：开设ROS四足机器狗开发训练营  OpenAI宣布组建新团队 以控制“超级智能”人工智能  亚马逊确认今年不会举办 re:MARS 机器人和人工智能大会  靠游戏更靠AI 英伟达成唯一首季度两位数增长的公司  实测 AI 建筑设计软件的自动生成效果图能力  智能化解决方案：保障数据安全阻击泄露和丢失  360°/180°双模式，佳能公布可折叠小体积的VR全景相机  DreamAvatar数字人使用教程  人工智能框架生态峰会即将召开，聚焦AI大模型技术与科学智能探索！  CREATOR制造、使用工具，实现LLM「自我进化」  第四范式“式说”大模型入选《2025年通用人工智能创新应用案例集》  “直击”AI新世界，智能机器人再次“火出圈”了  笔神作文声讨学而思AI大模型 称用“爬虫”技术盗取数据  全新升级的广州麦当劳：面积最大餐厅正式引入智慧机器人  Unity发布Sentis和Muse AI工具，助力创作游戏和3D内容  上新7款产品，美图继续“蹭”AI  优化J*a与MySQL合作：分享批处理操作的技巧  学生作文评分的新趋势：教师与AI的合作模式  硅谷人工智能研究院创始人皮埃罗·斯加鲁菲：Transformer模型演讲  微软商店 AI 摘要功能开启预览，帮助用户迅速了解应用评价  微软宣布为 Azure AI 添加男性声线，增强文本转语音功能  阿里达摩院向公众免费开放100项AI专利许可  《上古卷轴5》AI高清材质包优化游戏中所有怪物  商业智能决策技术助力降本增效，世界人工智能大会举办商业AI高峰论坛  Meta 发布 Voicebox AI 模型：可生成音频信息，用于 NPC 对话等  WHEE使用教程  人工智能和神经网络有什么联系与区别？