腾讯机器狗进化：通过深度学习掌握自主决策能力

6月14日，腾讯robotics x机器人实验室公布了智能体研究的最新进展，通过将前沿的预训练ai模型和强化学习技术应用到机器人控制领域，让机器狗 max 的灵活性和自主决策能力得到大幅提升。

让机器狗像人和动物一样灵活且稳定的运动，是机器人研究领域长期追求的目标，深度学习技术的不断进步，使得让机器通过“学习”来掌握相关能力，学会应对复杂多变的环境变得可行。

引入预训练和强化学习：让机器狗更加灵动

腾讯Robotics X机器人实验室通过引入预训练模型和强化学习技术，可以让机器狗分阶段进行学习，有效的将不同阶段的技能、知识积累并存储下来，让机器人在解决新的复杂任务时，不必重新学习，而是可以复用已经学会的姿态、环境感知、策略规划多个层面的知识，进行“举一反三”，灵活应对复杂环境

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

这一系列的学习分为三个阶段：

第一阶段通过游戏技术中常使用动作捕捉系统，研究员收集真狗的运动姿态数据，包括走、跑、跳、站立等动作，并利用这些数据，在*器中构建了一个模仿学习任务，再将这些数据中的信息抽象并压缩到深度神经网络模型中。这些模型不仅能够准确地涵盖收集的动物运动姿态信息，而且具有相当高的可解释性。

腾讯Robotics X机器人实验室和腾讯游戏合作，用游戏技术提升了*引擎的准确和高效，同时游戏制作和研发过程中积累了多元的动捕素材。这些技术和数据在基于物理*的智能体训练和真实世界机器人策略部署中扮演了一定的辅助角色。

神经网络模型只接受机器狗的本体感知信息（如电机状态）作为输入，以模仿学习的方式进行训练。在下一步中，模型会融合周围环境的感知数据，例如利用其他传感器来探测脚底下的障碍物。

第二阶段，通过额外的网络参数来将第一阶段掌握的机器狗灵动姿态与外界感知联系在一起，使得机器狗能够通过已经学会的灵动姿态来应对外界环境。当机器狗适应了多种复杂的环境后，这些将灵动姿态与外界感知联系在一起的知识也会被固化下来，存在神经网络结构中。

PatentPal专利申请写作

AI软件来为专利申请自动生成内容

274 查看详情

第三阶段，利用上述两个预训练阶段获取的神经网络，机器狗才有前提和机会来聚焦解决最上层的策略学习问题，最终具备端到端解决复杂的任务的能力。在第三阶段中，额外添加的网络将会收集与复杂任务有关的数据，例如在游戏中获取对手和旗帜的信息。此外，通过综合分析所有信息，负责策略学习的神经网络会学习出针对任务的高阶策略，例如往哪个方向跑动，预判对手的行为来决定是否继续追逐等等。

上述每一阶段学习到的知识都可以扩充和调整，不需要重新学习，因此可以不断积累，持续学习。

机器狗障碍追逐比赛 ：拥有自主决策和控制能力

为了测试Max所掌握的这些新技能，研究员受到障碍追逐比赛“World Chase Tag“的启发，设计了一个双狗障碍追逐的游戏。World Chase Tag是一个竞技性障碍追逐赛组织，2014年创立于英国，由民间儿童追逐游戏标准化而来。一般来说，障碍追逐比赛每轮次由两名互为对手的运动员参加，一名是追击者（称为攻方），一名是躲避者（称为守方），当一名运动员在整个追逐回合中（即20秒）成功躲避对手（即未发生触碰）时，团队将获得一分。 在预定的追逐回合数中得分最多的战队赢得比赛。

机器狗障碍追逐比赛的场地尺寸为4.5米 x 4.5米，上面分布着一些障碍物。游戏起始，两个MAX机器狗会被放置在场地中的随机位置，且随机一个机器狗被赋予追击者的角色，另一个为躲避者，同时，场地中会在随机位置摆放一个旗子。

躲避者的目标是尽可能接近旗子，但要确保不被追击者捉住。追击者的任务则是抓住躲避者。如果躲避者在被抓到之前成功触碰到旗子，则两个机器狗的角色会瞬间发生互换，同时旗子会重新出现在另一个随机的位置。当躲避者被当前的追击者抓住并且此时扮演追击者角色的机器狗获胜时，游戏即告结束。在所有游戏中，两个机器狗的平均前进速度限制为0.5m/s。

从这个游戏看来，在基于预训练好的模型下，机器狗通过深度强化学习，已经具备一定的推理和决策能力：

比如，当追击者意识到自己在躲避者碰到旗子之前已经无法追上它的时候，追击者就会放弃追击，而是在远离躲避者的位置徘徊，目的是为了等待下一个重置的旗子出现。

另外，当追击者即将抓到躲避者的最后时刻，它喜欢跳起来向着躲避者做出一个"扑"的动作，非常类似动物捕捉猎物时候的行为，或者躲避者在快要接触旗子的时候也会表现出同样的行为。这些都是机器狗为了确保自己的胜利采取的主动加速措施。

据介绍，游戏中机器狗的所有控制策略都是神经网络策略，在*中进行学习并通过zero-shot transfer(零调整迁移），让神经网络模拟人类的推理方式，来识别从未见过的新事物，并把这些知识部署到真实机器狗上。例如下图所示，机器狗在预训练模型中学会的躲避障碍物的知识，被用在游戏中，即使带有障碍物的场景并未在Chase Tag Game的虚拟世界进行训练（虚拟世界中仅训练了平地下的游戏场景），机器狗也能顺利完成任务。

腾讯Robotics X机器人实验室长期致力于机器人前沿技术的研究，以此前在机器人本体、运动、控制领域等领先技术和积累为基础，研究员们也在尝试将前沿的预训练模型和深度强化学习技术引入到机器人领域，提升机器人的控制能力，让其更具灵活性，这也为机器人走入现实生活，服务人类打下了坚实的基础。

以上就是腾讯机器狗进化：通过深度学习掌握自主决策能力的详细内容，更多请关注其它相关文章！

# 藏着  # 怎么在分类信息网站推广  # 广平互联网营销推广招聘  # 龙岩网站建设必备知识  # 网站营销推广怎样做  # 擅长营销推广  # 广州百度网站优化  # 弄一个网站再推广多少钱  # ai推广网站  # 海阳企业推广网站  # seo描述用英文逗号  # 深度学习  # 中国  # 微软  # 也会  # 游戏中  # 门店  # 开源  # 一名  # 专利申请  # 自主决策。  # 腾讯 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 联合国秘书长称支持建立全球人工智能监管机构  美踏控股推出创新人工智能大数据模型“心乐舞河”：虚拟人音舞社交的新体验  联想浏览器引入小乐 AI 助手，成功接入百度文心一言大模型，经过实测证实  谷歌计划在上海举办开发者大会，重点关注机器学习和生成式AI领域  周鸿祎：用超级AI实现室温超导和核聚变，实现能源自由  应用生成式人工智能技术改善农业产业  借助ChatGPT快速上手ElasticSearch dsl  云深处与昇腾CANN携手合作：开设ROS四足机器狗开发训练营  iPhone两秒出图，目前已知的最快移动端Stable Diffusion模型来了  开创全新虚拟现实体验的Pimax Crystal VR头显  如布AI口袋学习机S12 将亮相综艺节目《好样的！国货》  OPPO三方联合发布AI可持续发展白皮书，坚持发展健康AI生态  磐镭发布全新 GeForce RTX 4080 ARMOUR 显卡，售价为 9499 元  跑不动的元宇宙，虚拟世界比现实更冷酷  RoboNeo安装教程  如何提高集群协作效率？中外团队合作研发基于均值偏移的机器人队形控制策略  飒智智能机器人核心技术与应用论坛暨一体化控制器发布会成功举办  微软AR/VR专利提出使用时间复用谐振驱动产生双极性电源  AI 模型 Stable Diffusion 升级：正常生成五指、图像更逼真  网易云音乐内测上线“私人DJ” 打造AI推荐音乐助手  Xreal AR 眼镜用投屏盒子 Beam 发布：分体式设计，到手 699 元  360发布AI数字人广场，可同孙悟空、爱因斯坦等古今中外角色对话  微幼科技晨检机器人：幼儿园健康保障的新伙伴  GPT-4成功战胜AI-Guardian审核系统：谷歌研究团队的人工智能抵抗人工智能  美军AI无人机“误杀”操作员，人工智能要在军事领域毁灭人类？  人工智能改变网络安全和用户体验的三种方式  金山办公宣布与英伟达团队合作，加速WPS AI服务  将上下文长度扩展到256k，无限上下文版本的LongLLaMA来了？  OpenAI 为开发者推出 GPT 聊天机器人 API 大更新，同时降低价格  全国青少年无人机大赛重庆市选拔赛开赛 1252名中小学生参加  Dubbo负载均衡策略之 一致性哈希  联想创投携手12家被投企业MWC展示元宇宙、机器人等技术  「模仿学习」只会套话？解释微调+130亿参数Orca：推理能力打平ChatGPT  这款在《自然通讯》发表的机器人，为变形金刚来到现实创造可能性  QQ音乐业内率先推出「AI一起听」功能，领取你的AI听歌助手  中国移动主导创立元宇宙产业联盟，包括科大讯飞、芒果TV等在内，共24家成员  甲骨文与Cohere合作为企业提供生成式人工智能服务  北京公司实施AI技术，推行4.5天工作制，抵制996文化，提升员工工作幸福感  日新月异，脑机接口技术都有哪些新应用？  百亿量化私募：量化投资进入“精耕细作”时代 AI带来行业新变革  奥比中光子公司和斯坦德机器人深度合作，共同推进新一代激光雷达的研发  马斯克：将来机器人比人类多！特斯拉机器人亮相人工智能大会  七大主流AI企业包括OpenAI、谷歌等联合承诺：引入水印技术，并允许第三方审核AI内容  苹果2万5的AR遭遇砍单95%：不及预期  华为4G5G通信物联网收费标准公布，多年研发成果，十年花费近万亿  AI大模型，将为智慧城市带来哪些新变化？  MiracleVision视觉大模型功能介绍  明略科技发布免费开源TensorBoard.cpp，促进大型模型的预训练工作  人工智能领域，突破难题：国产大模型“无源之水”问题得到解决。  机智云AI离线语音识别模组，让家电变得更加智能便捷