FantasyTalking— 阿里联合北邮推出静态肖像生成可控数字人的框架

FantasyTalking是什么

fantasytalking 是阿里巴巴 amap 团队和北京邮电大学联合提出的新型框架，用于从单张静态肖像生成逼真的可动画化虚拟形象。基于预训练的视频扩散变换器模型，采用双阶段视听对齐策略，第一阶段通过片段级训练方案建立连贯的全局运动，第二阶段通过唇部追踪掩码在帧级别细化唇部运动，确保与音频信号精确同步。框架引入面部专注的交叉注意力模块来保持面部一致性，通过运动强度调制模块实现对表情和身体运动强度的控制。

星辰Agent

科大讯飞推出的智能体Agent开发平台，助力开发者快速搭建生产级智能体

378 查看详情

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

FantasyTalking的主要功能

• 口型同步：能准确识别并同步虚拟角色的口型与输入语音，使角色在说话时的口型与语音内容完全一致，增强了角色的真实感和可信度。
• 面部动作生成：根据语音内容和情感信息，生成相应的面部动作，如眨眼、皱眉、微笑等，使虚拟角色的表情更加丰富和生动。
• 全身动作生成：能根据场景和情节需要，生*身的动作和姿态，如行走、奔跑、跳跃等，使虚拟角色在动画中更加自然和流畅。
• 运动强度控制：通过运动强度调制模块，用户可以显式控制面部表情和身体运动的强度，实现对肖像运动的可控操纵，不仅限于唇部运动。
• 多种风格支持：支持多种风格的虚拟形象，写实风格、卡通风格，能生成高质量的对话视频。
• 多种姿态支持：支持生成具有各种身体范围和朝向的逼真说话视频，包括特写肖像、半身、全身以及正面和侧面姿势。

FantasyTalking的技术原理

• 双阶段视听对齐策略
  • 片段级训练：在第一阶段，通过片段级训练方案，模型会捕捉音频与整个场景（包括参考肖像、上下文对象和背景）之间的弱相关性，建立全局的视听依赖关系，实现整体特征融合。使模型能学习到与音频相关的非语言线索（如眉毛运动、肩膀动作）和强音频同步的唇部动态。
  • 帧级训练：在第二阶段，模型专注于帧级与音频高度相关的视觉特征细化，特别是唇部动作。通过使用唇部追踪掩码，模型能确保唇部运动与音频信号精确对齐，提高生成视频的质量。
• 身份保持：传统的参考网络方法通常会限制视频中人物和背景的大范围自然变化。FantasyTalking 采用面部专注的交叉注意力模块，集中建模面部区域，通过交叉注意力机制解耦身份保留与动作生成。更轻量级，能解放对背景和人物自然运动的限制，确保在整个生成的视频序列中保持角色的身份特征。
• 运动强度调节：FantasyTalking 引入了运动强度调制模块，能显式控制面部表情和身体运动的强度。使用户可以对肖像运动进行可控操纵，不仅限于唇部运动。通过调节运动强度，可以生成更加自然和多样化的动画。
• 基于预训练的视频扩散变换器模型：FantasyTalking 基于 Wan2.1 视频扩散变换器模型，基于时空建模能力，生成高保真、连贯的说话肖像视频。模型能有效捕捉音频信号与唇部运动、面部表情以及身体动作之间的关系，生成高质量的动态肖像。

FantasyTalking的项目地址

• 项目官网：http://fantasy-amap.github.io/fantasy-talking/
• Github仓库：http://github.com/Fantasy-AMAP/fantasy-talking
• arXiv技术论文：http://arxiv.org/pdf/2504.04842

FantasyTalking的应用场景

• 游戏开发：在游戏开发中，FantasyTalking 可用于生成游戏角色的对话动画和战斗动画。能根据语音内容生成精准的口型同步、丰富的面部表情和自然的全身动作，使游戏角色更加生动逼真，提升游戏的视觉效果和玩家的沉浸感。
• *制作：在*制作中，可用于生成虚拟角色的表演动画和特效动画。通过 FantasyTalking 可以快速生成具有复杂表情和动作的虚拟角色，减少传统动画制作中的人力和时间成本，为*作品增添更多的创意和想象力。
• 虚拟现实和增强现实：在虚拟现实（VR）和增强现实（AR）应用中，FantasyTalking 可以生成虚拟角色的交互动画和引导动画。
• 虚拟主播：FantasyTalking 可以用于生成虚拟主播的动画视频。支持多种风格的虚拟形象，虚拟主播可以用于新闻播报、|直播|带货、在线教育等多种场景，具有较高的实用性和灵活性。
• 智能教育：在智能教育领域，FantasyTalking 可以生成虚拟教师或虚拟助教的动画视频。

以上就是FantasyTalking— 阿里联合北邮推出静态肖像生成可控数字人的框架的详细内容，更多请关注其它相关文章！

# 阿里巴巴  # 盐城推广智能营销平台  # 本田思域优化网站在哪里  # 太原行业seo推广  # 钢材推广哪个网站好做  # 拒绝平庸的网站建设公司  # 众途seo博客推广  # 海林网站优化排名  # seo在线仿制教程  # 图书营销推广计划软件  # 到哪里学习营销推广  # git  # 可以用  # 掩码  # 安装包  # 游戏开发  # 一键  # 高质量  # 北邮  # 主播  # 变换器  # talk 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 海南省公安机关警用无人机培训班结业并举行警航比武演练  NVIDIA垄断AI市场90%份额：AMD性能追上80% 软件太不能打  Meta将VR头显最低年龄限制从13岁降至10岁  实践J*a开发，构建高性能的MongoDB数据迁移工具  借力AI！PCB全球巨头，有爆发潜质吗？  2025VR&AR显示技术峰会视频解析： 歌尔光学展示最新一代VR/AR光学模组  字节、网易相继入局，AI之后大厂又找到下一个风口？  Midjourney创始人：AI应该成为人类思想的延伸  猿辅导发布最新SaaS业务进展公告：Motiff UI设计工具推出三项新的AI功能  人工智能如何用于家庭安全  360发布AI数字人广场，可同孙悟空、爱因斯坦等古今中外角色对话  商业智能决策技术助力降本增效，世界人工智能大会举办商业AI高峰论坛  到中国科技馆体验“一滴油的奇妙旅行”，线上元宇宙展厅同步开启  揭晓2025年玻尔兹曼奖：Hopfield网络创始人荣获奖项  RoboNeo安装教程  陈根教授：离人形机器人时代还有10年吗？  苹果在韩举办首届中小企业智能制造论坛，加速推动工业4.0发展  微软 GitHub Copilot 编程助手被投诉：换口吻改写公共代码来躲版权  利好来了，AI再起一波？  新华三集团总裁兼首席执行官于英涛：人工智能时代需要想象力，更需要精耕务实  人工智能写作检测工具不靠谱，美国宪法竟被认为是机器人写的  华为小艺AI助手将实现强大的大模型能力  人工智能赋能无人驾驶：商业化进程再提速  “智能体动作生成技术”现身WAIC：游戏AI技术为机器人科创注入新动力  煤电“三改联动”需多措联动  陈丹琦ACL学术报告来了！详解大模型「*」数据库7大方向3大挑战，3小时干货满满  Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK：一键生成 SQL 及 FySpark 语言图表代码  “长沙造”无人机，领先的不止植保  OpenAI 引入个性化指令功能，消除对话中的重复偏好与信息  会模仿笔迹的AI，为你创造专属字体  Win11 的画图应用将包含 Windows Copilot 的 AI 工具整合  元宇宙迈入2.0时代，它和生成式人工智能有何关联吗？  AYANEO AIR 1S 掌机 7 月 9 日发布：R7 7840U + OLED 屏  人工智能产业协同创新中心：全产业链资源在这里汇聚  OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练  Nature封面：量子计算机离实际应用还有两年  Moka AI产品后观察：HR SaaS迈进AGI时代  人工智能和神经网络有什么联系与区别？  扎克·施奈德新片《月球叛军》曝剧照 机器人首度现身  苹果AI战略与微软谷歌大相径庭，到底是领先还是落后？  周鸿祎：用超级AI实现室温超导和核聚变，实现能源自由  严打“黑飞”，无人机检测反制设备护航大运会净空安全  美军AI无人机“误杀”操作员，人工智能要在军事领域毁灭人类？  杀入生成式AI的亚马逊云科技，能否再次生成未来？  借助ChatGPT快速上手ElasticSearch dsl  人工智能加速走进百姓生活：从2025全球人工智能技术大会看行业新趋势  在这里见未来！杭州未来科技城全球AI盛会邀您共探最前沿  塑造全能智能管家：华为小艺AI加成应对大模型挑战  五个出色的人工智能应用实例  2025WRC世界机器人大赛锦标赛（烟台）收官！斯坦星球勇夺VEX赛项冠亚军！