Stable Diffusion 3技术报告出炉：揭露Sora同款架构细节

很快啊，“文生图新王”stable diffusion 3的技术报告，这就来了。

全文一共28页，诚意满满。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

“老规矩”，宣传海报（⬇️）直接用模型生成，再秀一把文字渲染能力：

所以，SD3这比DALL·E 3和Midjourney v6都要强的文字以及指令跟随技能，究竟怎么点亮的？

技术报告揭露：

全靠多模态扩散Transformer架构MMDiT。

通过对图像和文本表示分别应用不同组权重的方法，实现了比之前版本更强大的性能提升，这是成功的关键。

具体几何，我们翻开报告来看。

微调DiT，提升文本渲染能力

在发布SD3之初，官方就已经透露它的架构和Sora同源，属于扩散型Transformer——DiT。

现在答案揭晓：

由于文生图模型需要考虑文本和图像两种模式，Stability AI比DiT更近一步，提出了新架构MMDiT。

这里的“MM”就是指“multimodal”。

和Stable Diffusion此前的版本一样，官方用两个预训练模型来获得合适和文本和图像表示。

其中文本表示的编码用三种不同的文本嵌入器（embedders）来搞定，包括两个CLIP模型和一个T5模型。

图像token的编码则用一个改进的自动编码器模型来完成。

由于文本和图像的embedding在概念上完全不是一个东西，因此，SD3对这两种模式使用了两组独立的权重。

（有网友吐槽：这个架构图好像要启动“人类补完计划”啊，嗯是的，有人就是“看到了《新世纪福音战士》的资料才点进来这篇报告的”）

言归正传，如上图所示，这相当于每种模态都有两个独立的transformer，但是会将它们的序列连接起来进行注意力操作。

这样，两种表示都可以在自己的空间中工作，同时还能考虑到另一种。

最终，通过这种方法，信息就可以在图像和文本token之间“流动”，在输出时提高模型的整体理解能力和文字渲染能力。

并且正如之前的效果展示，这种架构还可以轻松扩展到视频等多种模式。

具体测试则显示，MMDiT出于DiT却胜于DiT：

它在训练过程中的视觉保真度和文本对齐度都优于现有的文本到图像backbone，比如UViT、DiT。

重新加权流技术，不断提升性能

在发布之初，除了扩散型Transformer架构，官方还透露SD3结合了flow matching。

什么“流”？

如今天发布的论文标题所揭露，SD3采用的正是“Rectified Flow”（RF）。

这是一个“极度简化、一步生成”的扩散模型生成新方法，入选了ICLR2025。

它可以使模型的数据和噪声在训练期间以线性轨迹进行连接，产生更“直”的推理路径，从而可以使用更少的步骤进行采样。

Machine Translation

聚合多个来源的AI翻译

49 查看详情

基于RF，SD3在训练过程中引入了一张全新的轨迹采样。

它主打给轨迹的中间部分更多权重，因为作者假设这些部分会完成更具挑战性的预测任务。

通过多个数据集、指标和采样器配置，与其他60个扩散轨迹方法（比如LDM、EDM和ADM）测试这一生成方法发现：

虽然以前的RF方法在少步采样方案中表现出不错的性能，但它们的相对性能随着步数的增加而下降。

相比之下，SD3重新加权的RF变体可以不断提高性能。

模型能力还可进一步提高

官方使用重新加权的RF方法和MMDiT架构对文本到图像的生成进行了规模化研究（scaling study）。

训练的模型范围从15个具有4.5亿参数的模块到38个具有80亿参数的模块。

从中他们观察到：随着模型大小和训练步骤的增加，验证损失呈现出平滑的下降趋势，即模型通过不断学习适应了更为复杂的数据。

为了测试这是否在模型输出上转化为更有意义的改进，官方还评估了自动图像对齐指标（GenEval）以及人类偏好评分（ELO）。

结果是：

两者有很强的相关性。即验证损失可以作为一个很有力的指标，预测整体模型表现。

此外，由于这里的扩展趋势没有出现饱和迹象（即即随着模型规模的增加，性能仍在提升，没有达到极限），官方很乐观地表示：

未来的SD3性能还能继续提高。

最后，技术报告还提到了文本编码器的问题：

通过移除用于推理的47亿参数、内存密集型T5文本编码器，SD3的内存需求可以显著降低，但同时，性能损失很小（win rate从50%降到46%）。

不过，为了文字渲染能力，官方还是建议不要去掉T5，因为没有它，文本表示的win rate将跌至38%。

那么总结一下就是说：SD3的3个文本编码器中，T5在生成带文本图像（以及高度详细的场景描述图）时贡献是最大的。

网友：开源承诺如期兑现，感恩

SD3报告一出，不少网友就表示：

Stability AI对开源的承诺如期而至很是欣慰，希望他们能够继续保持并长久运营下去。

还有人就差报OpenAI大名了：

更加值得欣慰的是，有人在评论区提到：

SD3模型的权重全部都可以下载，目前规划的是8亿参数、20亿参数和80亿参数。

速度怎么样？

咳咳，技术报告有提：

80亿的SD3在24GB的RTX 4090上需要34s才能生成1024*1024的图像（采样步骤50个）——不过这只是早期未经优化的初步推理测试结果。

报告全文：https://stabilityai-public-packages.s3.us-west-2.amazonaws.com/Stable+Diffusion+3+Paper.pdf 。
参考链接：
[1]https://stability.ai/news/stable-diffusion-3-research-paper。
[2]https://news.ycombinator.com/item?id=39599958。

以上就是Stable Diffusion 3技术报告出炉：揭露Sora同款架构细节的详细内容，更多请关注其它相关文章！

# 腾讯  # 模态识别网站推广方法  # 南通营销网络推广  # 购物网站推广协议  # 网站网络推广怎么样  # 安宁推广营销方式  # 崇州公司网站建设  # 郑州网站seo  # 凉山网络营销推广软件哪个好  # 广州seo监控排名  # 潍坊怎么优化网站  # 上海  # 之初  # sd3  # 两种  # 还能  # 多个  # 这是  # 中国科学院  # 的是  # 开源  # midjourney  # stable diffusion  # sora  # 文生图模型  # mmdit 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： AI进军债券交易，BondGPT来了！  研究预测HPC支持的人工智能增长迅速  超级智能到底是什么？  国内阅读行业首款对话式AI应用“阅爱聊”封闭内测  人工智能大胆预测：银河系至少有2万个地球，36种外星文明  编程已死，AI 当立？教授公开“唱反调”：AI 还帮不了程序员  智能手机应用中的人工智能的重要性  美图发布国内首个“懂美学的”AI视觉大模型MiracleVision  OpenAI 静默关闭 AI 文本检测工具，准确率仅为 26%  速途网络成立“人工智能专家委员会”5位中美博士加盟  上海发布大模型政策 打造AI“模”都  全新升级的广州麦当劳：面积最大餐厅正式引入智慧机器人  联想戴炜：以全栈AI加速CT与IT融合，共建高质量算力网络  出门问问亮相2025世界人工智能大会，展示AI CoPilot解决方案  30+大模型齐聚，大模型成世界人工智能大会“顶流”  阿里云全面支持Llama2训练部署，助力企业快速构建自有大型模型  复旦发布「新闻推荐生态系统模拟器」SimuLine：单机支持万名读者、千名创作者、100+轮次推荐  “痴迷”元宇宙，魔珐科技想做什么？  此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处  「从未被制造出的最重要机器」，艾伦·图灵及图灵机那些事  联想首发AI PC于今年秋季，英特尔CEO确认AI PC时代来临  周鸿祎：用超级AI实现室温超导和核聚变，实现能源自由  能走、能飞、能游泳，科学家打造全能 M4 机器人  华为发布两款AI存储新品  Vision Pro头显重磅发布；苹果收购AR厂商Mira  AI大模型产品集体奔赴高考考场，教育赛道的讯飞星火能赢吗？  编程版GPT狂飙30星，AutoGPT危险了！  “一般智力”与工艺学批判是认识AI的重要入口 | 社会科学报  小红书陷入麻烦！被指控未经许可使用用户图片进行AI训练  “踩油门，也要会踩刹车” 互联网企业高管谈人工智能发展  AI与5G的强强联合：唤醒数字时代的无尽潜能  印象笔记开放旗下“印象 AI”，可一键生成思维导图、写文章等  构建人机交互创新模式，微美全息研究AIGC智能交互界面生成技术  MetaGPT AI 模型开源：可模拟软件公司开发过程，生成高质量代码  AI和ML推动联网设备的增长  QQ音乐业内率先推出「AI一起听」功能，领取你的AI听歌助手  人工智能“Aria”现身 Opera浏览器100版本更新：新功能“标签岛”  上天下海登极，青岛与昇腾AI握手一起探索星辰大海  联通发布鸿湖图文AI大模型1.0，可实现以文生图  AI取代人工先拿教育行业开刀？美版“作业帮”启动裁员  ChatGPT只讲这25个笑话！实验上千次有90%重复，网友：幽默是人类最后的尊严  华为联合合作伙伴 共同发布昇腾AI大模型训推一体化解决方案  Moka AI产品后观察：HR SaaS迈进AGI时代  张朝阳陆川谈AI：大数据模型大幅提升工作效率，ChatGPT冲击最大的是内容创作领域  应用生成式人工智能技术改善农业产业  OPPO三方联合发布AI可持续发展白皮书，坚持发展健康AI生态  浪潮KaiwuDB：“快人一步” - 打造更懂物联网的数据库  对Hugging Face开源模型精准投毒！LLM切脑后变身PoisonGPT，用虚假事实洗脑60亿人  创新全场景清洁方案！海尔商用机器人首发上市  BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」