名场面来了，李云龙、徐江、王多鱼同台飙戏，背后是小红书的AI

aixiv专栏是本站发布学术、技术内容的栏目。过去数年，本站aixiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

近日，来自小红书的技术团队 FireRed，提出了基于大语言模型的 FireRedTTS 语音合成系统，并分享了在短视频配音及聊天式语音对话等应用的一些实践。FireRedTTS 只需要给定文本和几秒钟参考音频，无需训练，就可模仿任意音色、任意说话风格，创造独特的音频内容。搞怪风、女友风、emo 小片段…… 百变风格自由定制，只有你想不到，没有 FireRedTTS 做不到。 是的，你没听错。这一段带着京腔，中英文混杂的片段正是由 FireRedTTS 生成。中英夹杂的 strong（死装）感在「city」中透着一丝阴阳怪气。不只语言混杂，FireRedTTS 还有让人直呼「更 city」的配音与对话。 大家听出来了哪几个*剧角色？运用 FireRedTTS，能够让《黑神话》悟空、《亮剑》李云龙、《狂飙》中的徐江、《西虹市首富》中的王多鱼这些本不可能聚集在一起的人物插科打诨，互相斗嘴，整活不断。 

FireRedTTS 不仅能够驾驭多风格、高表现力的音色，在自然对话领域也表现亮眼。视频中基于 FireRedTTS 的陪伴式交流真实自然，刁蛮可爱的女友形象让人情不自禁。

同时，除运用 FireRedTTS 的能力进行多音色、中英混杂的「整花活」之外，FireRedTTS 还能够生成具有小红书博主风格的高级感旁白，少年博主音颇具特色，将听众拉入即将离去的夏天。

FireRedTTS 的效果卓群，能 hold 住不同类型、不同风格、不同使用场景的需求。目前，FireRed 团队已经公布了该工作的技术报告，并且将开源模型权重和推理代码，以供大家体验尝试。

FireRedTTS 是如何一步步突破局限，做到如此惊艳的效果？我们可以打开 FireRedTTS 的论文一探究竟。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 技术报告及 Demo 链接：https://arxiv.org/abs/2409.03283
• 代码链接：https://github.com/FireRedTeam/FireRedTTS

FireRedTTS 提出了一套完整的基座语音合成框架，由三部分组成：数据处理、基座系统、与下游应用。在基座系统部分，他们提出了一种基于语言模型的语音合成方案，旨在利用语言模型强大的序列生成能力，将文本序列转换成自然的、有表现力的语音序列。

该方案首先训练一个关注语义信息的语音离散编码器，以把语音信号转换成离散的标签序列，和一个说话人全局表征。随后，文本到语音的语言模型被训练以从文本和说话人表征中预测目标语音序列。

为将预测的离散语音序列稳定地还原至高保真音频，FireRedTTS 提出了一种两阶段方法：先用大规模低采样率数据训练高泛化性梅尔谱生成器，再用小规模高保真数据训练超分辨神经声码器以合成高采样率音频。同时，除了基于流匹配的解码器，该系统还提出了一种基于多流语言模型的流式解码器以满足流式解码需求。

Remover

几秒钟去除图中不需要的元素

304 查看详情

待基座模型训练完毕后，FireRedTTS 便可以通过 In-Context Learning, Supervised Fine-Tuning, Instruct Tuning 等方法，服务下游语音应用。比如：在配音领域，该系统可以零样本克隆用户声音、1 小时数据构造专业级特色声音；在自然对话领域，该系统通过指令优化实现情感和副语言行为可控的拟人化语音生成。

更多研究细节，可参考原论文。

以上就是名场面来了，李云龙、徐江、王多鱼同台飙戏，背后是小红书的AI的详细内容，更多请关注其它相关文章！

# 中英  # 模型建设手机版网站入口  # 王建设大夫个人网站  # 交口信息网站推广趋势  # 建设部政务网站  # 美业推广营销海报图片大全  # 宁夏seo优化标题  # 赤水营销推广专业公司  # 共享栏目SEO优化  # seo专业培训教程  # 广东谷歌网站优化  # 声码  # 工程  # 转换成  # 开源  # 让人  # 基座  # 提出了  # 小红  # 来了  # type  # follow  # git  # 语音合成 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 普渡机器人与变形金刚品牌合作，特别活动爆火，商品售罄！  工业机器人及非标自动化设备集成服务提供商  智能机器人正在彻底改变客户服务  抛媚眼给瞎子看？微软、谷歌的AI广告被广告主抵制  马斯克称人类是半机器人，记忆外包给了电脑  鹅厂机器狗抢起真狗「饭碗」！会撒欢儿做游戏，遛人也贼6  Spotify计划推出AI驱动的音乐播放器功能  人工智能时代 数字文明对话向“尼”走来  云米Smart 2E AI立式空调开启预售：新三级能效，到手价3899元  类GPT模型训练提速26.5%，清华朱军等人用INT4算法加速神经网络训练  华为AI大模型将融入HarmonyOS 4  百亿量化私募：量化投资进入“精耕细作”时代 AI带来行业新变革  曝光HarmonyOS 4的重要新能力：全面升级AI大模型，小艺实现全面进化  世界人工智能大会（WAIC 2025）点燃魔都，博尔捷数字科技携前沿技术产品亮相  超级智能到底是什么？  华为将于 7 月发布面向 AI 大模型的新款存储产品  猿辅导发布最新SaaS业务进展公告：Motiff UI设计工具推出三项新的AI功能  张勇对话多位诺奖得主 人工智能将无处不在  能源电力数字化转型恰逢其时  陈根：AI冥想教练为用户提供个性化指导  酒店业将如何受益于人工智能的改变？  利亚德加码AI战略，与光年无限图灵机器人全面开展AI研发业务合作  WHEE网页地址入口  塑造全能智能管家：华为小艺AI加成应对大模型挑战  当科幻走进现实 脑机接口新技术能为生活带来哪些惊喜？  猿辅导推出Motiff，整合三大AI功能，助力UI设计生产力革新  全新小艺搭载AI大模型，有效提升学生和职场人士的工作效率  云深处科技绝影 Lite3 与 X20 四足机器人亮相  Valve 将拒绝采用 AI 生成未知版权内容的游戏上架 Steam  AI智能室内效果图设计软件效果，确实惊到我了！  日新月异，脑机接口技术都有哪些新应用？  到中国科技馆体验“一滴油的奇妙旅行”，线上元宇宙展厅同步开启  一文看懂被英伟达看中的九号机器人移动底盘  马斯克发推讽刺人工智能，机器学习本质是统计？  首部国内AI辅助动画片《魔游纪：人工智能辅助篇》预告发布  1000万张照片训练AI模型 科学家找到水下定位新方法  “可用”“有用”的讯飞星火认知大模型将亮相世界人工智能大会  改动一行代码，PyTorch训练三倍提速，这些「高级技术」是关键  微软 GitHub Copilot 编程助手被投诉：换口吻改写公共代码来躲版权  即时 AI再次升级 30秒生成自带动效的网页 生成速度提升100%  一文看懂基础模型的定义和工作原理  重塑未来生活的五项技术趋势  周鸿祎参加中美青年科技创新峰会，分享人工智能创新机遇  人工智能行业急缺人 AI人才年薪能达近42万元  “具身智能”引爆机器人产业，看绝影Lite3/X20四足机器人有何特别之处？  万兴播爆桌面端上线，支持AI数字人搜索、视频编辑等功能  支持跨语言、人声狗吠互换，仅利用最近邻的简单语音转换模型有多神奇  AMD在ChinaJoy展示全新的锐龙AI笔记本，开创了人工智能领域的新时代！  昇腾AI大模型训推一体化解决方案将在WAIC发布  放弃自动驾驶，也是一种和解