CVPR 2025 | 零样本6D物体姿态估计框架SAM-6D，向具身智能更进一步

在许多实际应用中，物体姿态估计扮演着关键角色，比如在具身智能、机器人操作和增强现实等领域。

在这一领域中，最先受到关注的任务是实例级别 6D 姿态估计，其需要关于目标物体的带标注数据进行模型训练，使深度模型具有物体特定性，无法迁移应用到新物体上。后来研究热点逐步转向类别级别 6D 姿态估计，用于处理未见过的物体，但要求该物体属于已知的感兴趣类别。

而零样本 6D 姿态估计是一种更具泛化性的任务设置，给定任意物体的 CAD 模型，旨在场景中检测出该目标物体，并估计其 6D 姿态。尽管其具有重要意义，这种零样本的任务设置在物体检测和姿态估计方面都面临着巨大的挑战。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

                               ^{图 1. 零样本 6D 物体姿态估计任务示意}

最近，分割一切模型 SAM [1] 备受关注，其出色的零样本分割能力令人瞩目。SAM 通过各种提示，如像素点、包围框、文本和掩膜等，实现高精度的分割，这也为零样本 6D 物体姿态估计任务提供了可靠的支撑， 展现了其前景的潜力。

因此，一项新的零样本 6D 物体姿态估计框架 SAM-6D 被跨维智能、香港中文大学（深圳）、华南理工大学的研究人员提出。这一研究成果已经受到 CVPR 2025 的认可。

• 论文链接: https://arxiv.org/pdf/2311.15707.pdf

• 代码链接: https://github.com/JiehongLin/SAM-6D

SAM-6D 通过两个步骤来实现零样本 6D 物体姿态估计，包括实例分割和姿态估计。相应地，给定任意目标物体，SAM-6D 利用两个专用子网络，即实例分割模型（ISM）和姿态估计模型（PEM），来从 RGB-D 场景图像中实现目标；其中，ISM 将 SAM 作为一个优秀的起点，结合精心设计的物体匹配分数来实现对任意物体的实例分割，PEM 通过局部到局部的两阶段点集匹配过程来解决物体姿态问题。SAM-6D 的总览如图 2 所示。

                                 ^{图 2. SAM-6D 总览图}

总体来说，SAM-6D 的技术贡献可概括如下：

• SAM-6D 是一个创新的零样本 6D 姿态估计框架，通过给定任意物体的 CAD 模型，实现了从 RGB-D 图像中对目标物体进行实例分割和姿态估计，并在 BOP [2] 的七个核心数据集上表现优异。

• SAM-6D 利用分割一切模型的零样本分割能力，生成了所有可能的候选对象，并设计了一个新颖的物体匹配分数，以识别与目标物体对应的候选对象。

• SAM-6D 将姿态估计视为一个局部到局部的点集匹配问题，采用了一个简单但有效的 Background Token 设计，并提出了一个针对任意物体的两阶段点集匹配模型；第一阶段实现粗糙的点集匹配以获得初始物体姿态，第二阶段使用一个新颖的稀疏到稠密点集变换器以进行精细点集匹配，从而对姿态进一步优化。

实例分割模型 (ISM)

SAM-6D 使用实例分割模型（ISM）来检测和分割出任意物体的掩膜。

给定一个由 RGB 图像表征的杂乱场景，ISM 利用分割一切模型（SAM）的零样本迁移能力生成所有可能的候选对象。对于每个候选对象，ISM 为其计算一个物体匹配分数，以估计其与目标物体之间在语义、外观和几何方面的匹配程度。最后通过简单设置一个匹配阈值，即可识别出与目标物体所匹配的实例。

物体匹配分数的计算通过三个匹配项的加权求和得到:

语义匹配项 —— 针对目标物体，ISM 渲染了多个视角下的物体模板，并利用 DINOv2 [3] 预训练的 ViT 模型提取候选对象和物体模板的语义特征，计算它们之间的相关性分数。对前 K 个最高的分数进行平均即可得到语义匹配项分数，而最高相关性分数对应的物体模板视为最匹配模板。

外观匹配项 —— 对于最匹配模板，利用 ViT 模型提取图像块特征，并计算其与候选对象的块特征之间的相关性，从而获得外观匹配项分数，用于区分语义相似但外观不同的物体。

几何匹配项 —— 鉴于不同物体的形状和大小差异等因素，ISM 还设计了几何匹配项分数。最匹配模板对应的旋转与候选对象点云的平均值可以给出粗略的物体姿态，利用该姿态对物体 CAD 模型进行刚性变换并投影可以得到边界框。计算该边界框与候选边界框的交并比（IoU）则可得几何匹配项分数。

姿态估计模型 (PEM)

对于每个与目标物体匹配的候选对象，SAM-6D 利用姿态估计模型（PEM）来预测其相对于物体 CAD 模型的 6D 姿态。 

将分割的候选对象和物体 CAD 模型的采样点集分别表示为 和，其中 N_m 和 N_o 表示它们点的数量；同时，将这两个点集的特征表示为和，C 表示特征的通道数。PEM 的目标是得到一个分配矩阵，用于表示从 P_m 到 P_o 之间的局部到局部对应关系；由于遮挡的原因，P_o 只部分与匹配 P_m，而由于分割不准确性和传感器噪声，P_m 也只部分与匹配 P_o。

为了解决两个点集非重叠点的分配问题，ISM 为它们分别配备了 Background Token，记为 和 ，则可以基于特征相似性有效地建立局部到局部对应关系。具体来说，首先可以计算注意力矩阵如下：

Machine Translation

聚合多个来源的AI翻译

49 查看详情

接着可得分配矩阵

和 分别表示沿着行和列的 softmax 操作， 表示一个常数。 中的每一行的值（除了首行），表示点集 P_m 中每个点 P_m 与背景及 P_o 中点的匹配概率，通过定位最大分数的索引，则可以找到与 P_m 匹配的点（包括背景）。

一旦计算获得  ，则可以聚集所有匹配点对 {(P_m,P_o)} 以及它们的匹配分数，最终利用加权 SVD 计算物体姿态。

                                 ^{图 3. SAM-6D 中姿态估计模型 (PEM) 的示意图}

利用上述基于 Background Token 的策略，PEM 中设计了两个点集匹配阶段，其模型结构如图 3 所示，包含了特征提取、粗略点集匹配和精细点集匹配三个模块。

粗糙点集匹配模块实现稀疏对应关系，以计算初始物体姿态，随后利用该姿态来对候选对象的点集进行变换，从而实现位置编码的学习。

精细点集匹配模块结合候选对象和目标物体的采样点集的位置编码，从而注入第一阶段的粗糙对应关系，并进一步建立密集对应关系以得到更精确的物体姿态。为了在这一阶段有效地学习密集交互，PEM 引入了一个新颖的稀疏到稠密点集变换器，它实现在密集特征的稀疏版本上的交互，并利用 Linear Transformer [5] 将增强后的稀疏特征扩散回密集特征。

实验结果

对于 SAM-6D 的两个子模型，实例分割模型（ISM）是基于 SAM 构建而成的，无需进行网络的重新训练和 finetune，而姿态估计模型（PEM）则利用 MegaPose [4] 提供的大规模 ShapeNet-Objects 和 Google-Scanned-Objects 合成数据集进行训练。

为验证其零样本能力，SAM-6D 在 BOP [2] 的七个核心数据集上进行了测试，包括了 LM-O，T-LESS，TUD-L，IC-BIN，ITODD，HB 和 YCB-V。表 1 和表 2 分别展示了不同方法在这七个数据集上的实例分割和姿态估计结果的比较。相较于其他方法，SAM-6D 在两个方法上的表现均十分优异，充分展现其强大的泛化能力。

                               ^{表 1. 不同方法在 BOP 七个核心数据集上的实例分割结果比较}

                                  ^{表 2. 不同方法在 BOP 七个核心数据集上的姿态估计结果比较}

图 4 展示了 SAM-6D 在 BOP 七个数据集上的检测分割以及 6D 姿态估计的可视化结果，其中 (a) 和 (b) 分别为测试的 RGB 图像和深度图，(c) 为给定的目标物体，而 (d) 和 (e) 则分别为检测分割和 6D 姿态的可视化结果。

                                    ^{图 4. SAM-6D 在 BOP 的七个核心数据集上的可视化结果。}

关于 SAM-6D 的更多实现细节， 欢迎阅读原论文.

^{参考文献：}

^{[1] Alexander Kirillov et. al.,“Segment anything.”}

^{[2] Martin Sundermeyer et. al.,“Bop challenge 2025 on detection, segmentation and pose estimation of specific rigid objects.”}

^{[3] Maxime Oquab et. al.,“Dinov2: Learning robust visual features without supervision.”}

^{[4] Yann Labbe et. al.,“Megapose: 6d pose estimation of novel objects via render & compare.”}

^{[5] Angelos Katharopoulos et. al., “Transformers are rnns: Fast autoregressive}

^{transformers with linear attention.”}

以上就是CVPR 2025 | 零样本6D物体姿态估计框架SAM-6D，向具身智能更进一步的详细内容，更多请关注其它相关文章！

# 分别为  # seo分子式  # 蜘蛛池优化seo博客  # 莒县网站推广优化  # 潍坊官网seo优化  # 保定网站建设公司招聘  # 宜宾seo优化代理  # 瑞安问答推广营销  # 武义品牌推广营销收费标准文件  # 桂林网站建设内容怎么写  # z世代护肤品营销推广  # 如图  # 工程  # 有效地  # 到你  # 多个  # 太多  # 丰田  # 中国科学院  # 则可  # 变换器  # type  # sam-6d 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 李开复：未来几年，人工智能会革了所有人的命，除非你这么做  人形机器人概念集体爆发，能买吗？  70年前他本想逃避考试，却影响了整个互联网  腾讯汤道生：大模型只是起点，产业落地是AI更大的应用场景  联合国秘书长称支持建立全球人工智能监管机构  智能客服进入AI 2.0时代 容联云发布语言大模型“赤兔”  如何用AI开创智慧能源新时代？固德威正让能源“通人性”！  李开复官宣新公司「零一万物」，进军 AI 2.0  “无人驾驶船”将首次亮相世界人工智能大会，下半年或开进上海迪士尼  给小朋友最好的科技礼物：乐天派桌面机器人  朱民：普通人炒股炒不过机器人是很正常的 AI已经能理解市场情绪  写出优质文章的妙招：利用"稿见AI助手"的实用指南  金山办公：AI是重要的产品战略之一  PS AI修图免费平替来了！Stability AI又放大招，核弹级更新一键扩图  智能电网技术：提高能源效率和可靠性  以分布式网络串联闲置GPU，这家创企称可将AI模型训练成本降低90%  清华朱军团队新作：使用4位整数训练Transformer，比FP16快2.2倍，提速35.1%，加速AGI到来！  AI 冥想应用 Ogimi.ai 推出，可为用户提供教练级个性化指导  Ai智能机器人，chat-免注册登入，直接使用新版gpt4.0！  2025VR&AR显示技术峰会视频解析： 歌尔光学展示最新一代VR/AR光学模组  技术如何使人变得懒惰？  如何提高集群协作效率？中外团队合作研发基于均值偏移的机器人队形控制策略  昇腾AI & 讯飞星火：深度联手，共话国产大模型“大未来”  云米Smart 2E AI立式空调开启预售：新三级能效，到手价3899元  五个IntelliJ IDEA插件，高效编写代码  杭州举办第19届亚运会，主题为「亚运元宇宙」的发布仪式举行  华为昇腾AI原生支持30多种基础大模型，包括GPT  英特尔张宇：边缘计算在整个AI生态系统中扮演重要角色  AI+音乐如何“生成”动听旋律？一起揭秘世界人工智能大会开场曲  AI大模型时代，数据存储新基座助推教科研数智化跃迁  田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘  马斯克发推讽刺人工智能，机器学习本质是统计？  无人机协助盐城交通执法的协同训练  OpenAI 向所有付费 API 用户开放 GPT-4  美妆行业在AI时代蓬勃发展  XREAL Beam 投屏盒子正式发布：支持“可悬停 AR 空间屏”  【搞事】时隔4年 谷歌更新安卓logo 机器人头更饱满了  第四范式「式说」大模型入选《2025年通用人工智能创新应用案例集》  郭帆谈ChatGPT：电影行业需要创新，否则人工智能将让电影变得平庸  Databricks推出人工智能模型共享机制，可令开发者与公司“双赢”  机构：边缘AI或是当前预期差最大的AI方向  IBM将模拟计算用于人工智能，重塑AI计算  Gartner发布中国企业人工智能趋势浪潮3.0  对Hugging Face开源模型精准投毒！LLM切脑后变身PoisonGPT，用虚假事实洗脑60亿人  物联网“僵尸网络DDos攻击”增长惊人，威胁全球电信网络  谷歌借AI打破十年排序算法封印，每天被执行数万亿次，网友却说是最不切实际的研究？  生成式AI对云运维的3大挑战  一图速览 | 十大脑机接口关键技术发布  360发布AI数字人广场，可同孙悟空、爱因斯坦等古今中外角色对话  QQ音乐业内率先推出「AI一起听」功能，领取你的AI听歌助手