iPhone两秒出图，目前已知的最快移动端Stable Diffusion模型来了

Stable Diffusion （SD）是当前最热门的文本到图像（text to image）生成扩散模型。尽管其强大的图像生成能力令人震撼，一个明显的不足是需要的计算资源巨大，推理速度很慢：以 SD-v1.5 为例，即使用半精度存储，其模型大小也有 1.7GB，近 10 亿参数，端上推理时间往往要接近 2min。

为了解决推理速度问题，学术界与业界已经开始对 SD 加速的研究，主要集中于两条路线：（1）减少推理步数，这条路线又可以分为两条子路线，一是通过提出更好的 noise scheduler 来减少步数，代表作是 DDIM [1]，PNDM [2]，DPM [3] 等；二是通过渐进式蒸馏（Progressive Distillation）来减少步数，代表作是 Progressive Distillation [4] 和 w-conditioning [5] 等。（2）工程技巧优化，代表作是 Qualcomm 通过 int8 量化 + 全栈式优化实现 SD-v1.5 在安卓手机上 15s 出图 [6]，Google 通过端上 GPU 优化将 SD-v1.4 在三星手机上加速到 12s [7]。

尽管这些工作取得了长足的进步，但仍然不够快。

近日，Snap 研究院推出最新高性能 Stable Diffusion 模型，通过对网络结构、训练流程、损失函数全方位进行优化，在 iPhone 14 Pro 上实现 2 秒出图（512x512)，且比 SD-v1.5 取得更好的 CLIP score。这是目前已知最快的端上 Stable Diffusion 模型！

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文地址：https://arxiv.org/pdf/2306.00980.pdf
• Webpage: https://snap-research.github.io/SnapFusion

核心方法

Stable Diffusion 模型分为三部分：VAE encoder/decoder, text encoder, UNet，其中 UNet 无论是参数量还是计算量，都占绝对的大头，因此 SnapFusion 主要是对 UNet 进行优化。具体分为两部分：（1）UNet 结构上的优化：通过分析原有 UNet 的速度瓶颈，本文提出一套 UNet 结构自动评估、进化流程，得到了更为高效的 UNet 结构（称为 Efficient UNet）。（2）推理步数上的优化：众所周知，扩散模型在推理时是一个迭代的去噪过程，迭代的步数越多，生成图片的质量越高，但时间代价也随着迭代步数线性增加。为了减少步数并维持图片质量，我们提出一种 CFG-aware 蒸馏损失函数，在训练过程中显式考虑 CFG （Classifier-Free Guidance）的作用，这一损失函数被证明是提升 CLIP score 的关键！

下表是 SD-v1.5 与 SnapFusion 模型的概况对比，可见速度提升来源于 UNet 和 VAE decoder 两个部分，UNet 部分是大头。UNet 部分的改进有两方面，一是单次 latency 下降（1700ms -> 230ms，7.4x 加速），这是通过提出的 Efficient UNet 结构得到的；二是 Inference steps 降低（50 -> 8，6.25x 加速），这是通过提出的 CFG-aware Distillation 得到的。VAE decoder 的加速是通过结构化剪枝实现。

下面着重介绍 Efficient UNet 的设计和 CFG-aware Distillation 损失函数的设计。

（1）Efficient UNet

我们通过分析 UNet 中的 Cross-Attention 和 ResNet 模块，定位速度瓶颈在于 Cross-Attention 模块（尤其是第一个 Downsample 阶段的 Cross-Attention），如下图所示。这个问题的根源是因为 attention 模块的复杂度跟特征图的 spatial size 成平方关系，在第一个 Downsample 阶段，特征图的 spatial size 仍然较大，导致计算复杂度高。

为了优化 UNet 结构，我们提出一套 UNet 结构自动评估、进化流程：先对 UNet 进行鲁棒性训练（Robust Training），在训练中随机 drop 一些模块，以此来测试出每个模块对性能的真实影响，从而构建一个 “对 CLIP score 的影响 vs. latency” 的查找表；然后根据该查找表，优先去除对 CLIP score 影响不大同时又很耗时的模块。这一套流程是在线自动进行，完成之后，我们就得到了一个全新的 UNet 结构，称为 Efficient UNet。相比原版 UNet，实现 7.4x 加速且性能不降。

（2）CFG-aware Step Distillation

CFG（Classifier-Free Guidance）是 SD 推理阶段的必备技巧，可以大幅提升图片质量，非常关键！尽管已有工作对扩散模型进行步数蒸馏（Step Distillation）来加速 [4]，但是它们没有在蒸馏训练中把 CFG 纳入优化目标，也就是说，蒸馏损失函数并不知道后面会用到 CFG。这一点根据我们的观察，在步数少的时候会严重影响 CLIP score。

为了解决这个问题，我们提出在计算蒸馏损失函数之前，先让 teacher 和 student 模型都进行 CFG，这样损失函数是在经过 CFG 之后的特征上计算，从而显式地考虑了不同 CFG scale 的影响。实验中我们发现，完全使用 CFG-aware Distillation 尽管可以提高 CLIP score， 但 FID 也明显变差。我们进而提出了一个随机采样方案来混合原来的 Step Distillation 损失函数和 CFG-aware Distillation 损失函数，实现了二者的优势共存，既显著提高了 CLIP score，同时 FID 也没有变差。这一步骤，实现进一步推理阶段加速 6.25 倍，实现总加速约 46 倍。

除了以上两个主要贡献，文中还有对 VAE decoder 的剪枝加速以及蒸馏流程上的精心设计，具体内容请参考论文。

实验结果

SnapFusion 对标 SD-v1.5 text to image 功能，目标是实现推理时间大幅缩减并维持图像质量不降，最能说明这一点的是下图：

该图是在 MS COCO’14 验证集上随机选取 30K caption-image pairs 测算 CLIP score 和 FID。CLIP score 衡量图片与文本的语义吻合程度，越大越好；FID 衡量生成图片与真实图片之间的分布距离（一般被认为是生成图片多样性的度量），越小越好。图中不同的点是使用不同的 CFG scale 获得，每一个 CFG scale 对应一个数据点。从图中可见，我们的方法（红线）可以达到跟 SD-v1.5（蓝线）同样的最低 FID，同时，我们方法的 CLIP score 更好。值得注意的是，SD-v1.5 需要 1.4min 生成一张图片，而 SnapFusion 仅需要 1.84s，这也是目前我们已知最快的移动端 Stable Diffusion 模型！

下面是一些 SnapFusion 生成的样本：

更多样本请参考文章附录。

除了这些主要结果，文中也展示了众多烧蚀分析（Ablation Study）实验，希望能为高效 SD 模型的研发提供参考经验：

（1）之前 Step Distillation 的工作通常采用渐进式方案 [4, 5]，但我们发现，在 SD 模型上渐进式蒸馏并没有比直接蒸馏更有优势，且过程繁琐，因此我们在文中采用的是直接蒸馏方案。

（2）CFG 虽然可以大幅提升图像质量，但代价是推理成本翻倍。今年 CVPR’23 Award Candidate 的 On Distillation 一文 [5] 提出 w-conditioning，将 CFG 参数作为 UNet 的输入进行蒸馏（得到的模型叫做 w-conditioned UNet），从而在推理时省却 CFG 这一步，实现推理成本减半。但是我们发现，这样做其实会造成图片质量下降，CLIP score 降低（如下图中，四条 w-conditioned 线 CLIP score 均未超过 0.30, 劣于 SD-v1.5）。而我们的方法则可以减少步数，同时将 CLIP score 提高，得益于所提出的 CFG-aware 蒸馏损失函数！尤其值得主要的是，下图中绿线（w-conditioned, 16 steps）与橙线（Ours，8 steps）的推理代价是一样的，但明显橙线更优，说明我们的技术路线比 w-conditioning [5] 在蒸馏 CFG guided SD 模型上更为有效。

（3）既有 Step Distillation 的工作 [4, 5] 没有将原有的损失函数和蒸馏损失函数加在一起，熟悉图像分类知识蒸馏的朋友应该知道，这种设计直觉上来说是欠优的。于是我们提出把原有的损失函数加入到训练中，如下图所示，确实有效（小幅降低 FID）。

总结与未来工作

本文提出 SnapFusion，一种移动端高性能 Stable Diffusion 模型。SnapFusion 有两点核心贡献：（1）通过对现有 UNet 的逐层分析，定位速度瓶颈，提出一种新的高效 UNet 结构（Efficient UNet），可以等效替换原 Stable Diffusion 中的 UNet，实现 7.4x 加速；（2）对推理阶段的迭代步数进行优化，提出一种全新的步数蒸馏方案（CFG-aware Step Distillation），减少步数的同时可显著提升 CLIP score，实现 6.25x 加速。总体来说，SnapFusion 在 iPhone 14 Pro 上实现 2 秒内出图，这是目前已知最快的移动端 Stable Diffusion 模型。

未来工作：

1.SD 模型在多种图像生成场景中都可以使用，本文囿于时间，目前只关注了 text to image 这个核心任务，后期将跟进其他任务（如 inpainting，ControlNet 等等）。

2. 本文主要关注速度上的提升，并未对模型存储进行优化。我们相信所提出的 Efficient UNet 仍然具备压缩的空间，结合其他的高性能优化方法（如剪枝，量化），有望缩小存储，并将时间降低到 1 秒以内，离端上实时 SD 更进一步。

以上就是iPhone两秒出图，目前已知的最快移动端Stable Diffusion模型来了的详细内容，更多请关注其它相关文章！

# 是在  # 排名营销推广的优劣  # 精准医疗营销推广  # 罗马假日营销推广的景点  # 武昌网站建设公司好吗  # 济宁梁山外贸网站优化  # 汕尾网络推广seo渠道  # seo内部链接策略网站  # 岳阳网站推广哪里好做啊  # 营销场景新品推广  # 不属于流动资金的是a营销推广费用  # 丰田  # 模型  # 迭代  # 高性能  # 中国科学院  # 图中  # 这一  # 这是  # 的是  # 来了  # controlnet  # stable diffusion  # 训练 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 曝索尼在开发新头显设备：游戏中使用AR技术  人工智能改变网络安全和用户体验的三种方式  AI和ML推动联网设备的增长  谷歌新安卓机器人logo曝光：头更大了  当TS遇上AI，会发生什么？  「从未被制造出的最重要机器」，艾伦·图灵及图灵机那些事  “五年内人类程序员将消失”预言引争议，AI真的那么强大了吗？  华为大模型登Nature正刊！审稿人：让人们重新审视预报模型的未来  电池比 Air 2S 大 20%，大疆 Air 3 无人机现身 FCC  苹果推出全新沉浸式 AR 体验应用“Deep Field”  中国联通发布图文AI大模型，可实现以文生图、视频剪辑  剧透！蜜小豆@2025世界人工智能大会多个亮点曝光  微软在 Build 大会上宣布的新 Microsoft Store AI Hub 现已开始推出  月薪6万，哪些AI岗位在抢人？  会模仿笔迹的AI，为你创造专属字体  OpenAI首席执行官引用《道德经》 呼吁就AI安全问题合作  人工智能创作的“婴儿版超级英雄”，你觉得哪个最可爱  网易易盾 AI Lab 论文入选 ICASSP 2025！黑科技让语音识别越“听”越准  中国移动主导创立元宇宙产业联盟，包括科大讯飞、芒果TV等在内，共24家成员  NTU、上海AI Lab整理300+论文：基于Transformer的视觉分割最新综述出炉  焊接协作机器人或将成为26届埃森展最大看点  RoboNeo安装教程  V社回应拒绝上架含 AI 生成内容的游戏：审核政策正在调整中  乐天派桌面机器人加入小米米家生态系统，实现与其他智能设备的互联  中国联通推出“极光一号”5G机载终端，适配大疆等品牌无人机设备  AIGC浪潮下，联想集团再加码计算与人工智能  商业智能决策技术助力降本增效，世界人工智能大会举办商业AI高峰论坛  万兴播爆桌面端上线，支持AI数字人搜索、视频编辑等功能  Yann LeCun团队新研究成果：对自监督学习逆向工程，原来聚类是这样实现的  令人震惊的特斯拉机器人  Meta将VR头显最低年龄限制从13岁降至10岁  有远见！华为四年前注册商标Vision Pro：苹果AR国内要改名  马斯克嘲讽人工智能：机器学习本质就是统计学  山东机器人编程：Scratch编程基础，认识舞台！~济南机器人编程  Meta 开源 AI 语言模型 MusicGen，可将文本和旋律转化为完整乐曲  2025智源大会AI安全话题备受关注，《人机对齐》新书首发  Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙  生成式AI爆发，亚马逊云科技持续专注创新，助力企业数字化转型  小艺将具备大模型能力，鸿蒙4加速AI普及之路  印象笔记开放旗下“印象 AI”，可一键生成思维导图、写文章等  能抓取玻璃碎片、水下透明物，清华提出通用型透明物体抓取框架，成功率极高  OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练  中国气象局预测：到 2030 年，中国人工智能气象应用将达到国际领先水平  Moka发布AI原生HR SaaS产品“Moka Eva”，布局AGI时代  到中国科技馆体验“一滴油的奇妙旅行”，线上元宇宙展厅同步开启  小米首次曝光 64 亿参数的 MiLM-6B AI 大模型，或将应用于小爱同学  如何利用AI工具写好本科论文：科技助你一臂之力  麦肯锡：到 2045 年左右，将有 50% 工作被 AI 接管  组建团队，字节跳动要造机器人？  海南省公安机关警用无人机培训班结业并举行警航比武演练