PointPillars：基于点云的3D快速目标检测网络

PointPillars是一个基于点云的快速目标检测网络，在配置为Intel i7 CPU和1080ti GPU上的预测速度为62Hz，在无人驾驶领域中常常能够使用上它，是一个落地且应用广泛的一个3D快速目标检测网络。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

PointPillars：基于点云的快速目标检测网络（训练版）

1、项目总览

①、PointPillars简介

    PointPillars是一个基于点云的快速目标检测网络，在配置为Intel i7 CPU和1080ti GPU上的预测速度为62Hz，在无人驾驶领域中常常能够使用上它，是一个落地且应用广泛的一个3D快速目标检测网络。

    PointPillars网络的一个非常好的落地应用：Apollo 6.0 lidar中的detector部分

②、项目效果

    网络能对点云图进行3D快速目标检测：

2、网络简介

①、网络结构

    PointPillars网络结构部分主要分为三大部分：1、采用Pillar编码方式编码PointCloud；2、使用2D Convolution对编码后的伪2D图进行处理；3、使用SSD的检测头对目标进行检测。

    1、采用Pillar编码方式编码PointCloud：在点云的俯视图的平面进行投影使之变成伪2D图，对这种投影进行编码用的是Pillar方法，即在投影幕上划分为 H * W 的网格，然后对于每个网格所对应的柱子中的每一个点取原特征（x,y,z,r,x_c,y_c,z_c,x_p,y_p）共9个，再然后每个柱子中点多于N的进行采样，少于N的进行填充0，形成了（9，N，H * W）的特征图。

    2、使用2D Convolution进行处理：这一部分算得上是网络中的backbone，backbone包含两个子网络一个是top-down网络，另一个是second网络。其中top-down网络结构为了捕获不同尺度下的特征信息，主要是由卷积层、归一化、非线性层构成的，second网络用于将不同尺度特征信息融合，主要由反卷积来实现。

    3、使用SSD的检测头对目标进行检测。

②、损失函数

    

    使用localization loss对3D bounding box进行回归，由于box的±Π在localization loss无法被学习到，所以使用direction loss对此进行学习，在classification loss中使用focal loss对分类进行学习。

3、网络训练

①、数据集的准备

    PointPillars网络在KITTI数据集中的3D Detection数据集上面进行训练，数据集中包含7481张训练图片以及7518张测试图片，一共有80256个标记物体，并且测试模式包含普通的视角以及鸟瞰视角。

简小派

简小派是一款AI原生求职工具，通过简历优化、岗位匹配、项目生成、模拟面试与智能投递，全链路提升求职成功率，帮助普通人更快拿到更好的 offer。

123 查看详情 In [ ]

!rm -rf kitti/
!mkdir -p kitti/training/velodyne_reduced
!mkdir -p kitti/testing/velodyne_reduced

In [ ]

!unzip data/data50186/data_object_calib.zip -d kitti/

In [ ]

!unzip data/data50186/image_training.zip -d kitti/training/
!unzip data/data50186/data_object_label_2.zip -d kitti/training/
!unzip data/data50186/velodyne_training_1.zip -d kitti/training/
!unzip data/data50186/velodyne_training_2.zip -d kitti//training/
!unzip data/data50186/velodyne_training_3.zip -d kitti/training/

In [ ]

!unzip data/data50186/image_testing.zip -d kitti/testing/
!unzip data/data50186/velodyne_testing_1.zip -d kitti/testing/
!unzip data/data50186/velodyne_testing_2.zip -d kitti/testing/
!unzip data/data50186/velodyne_testing_3.zip -d kitti/testing/

In [ ]

!mv kitti/training/training/* kitti/training/
!rm -rf kitti/training/training/
!mv kitti/testing/testing/* kitti/testing/
!rm -rf kitti/testing/testing/

In [ ]

!mkdir kitti/training/velodyne
!mv kitti/training/velodyne_training_1/* kitti/training/velodyne/
!mv kitti/training/velodyne_training_2/* kitti/training/velodyne/
!mv kitti/training/velodyne_training_3/* kitti/training/velodyne/
!rm -rf kitti/training/velodyne_training_1
!rm -rf kitti/training/velodyne_training_2
!rm -rf kitti/training/velodyne_training_3
!mkdir kitti/testing/velodyne
!mv kitti/testing/velodyne_testing_1/* kitti/testing/velodyne
!mv kitti/testing/velodyne_testing_2/* kitti/testing/velodyne
!mv kitti/testing/velodyne_testing_3/* kitti/testing/velodyne
!rm -rf kitti/testing/velodyne_testing_1
!rm -rf kitti/testing/velodyne_testing_2
!rm -rf kitti/testing/velodyne_testing_3

②、安装必要的库

In [ ]

!pip install shapely pybind11 protobuf scikit-image numba pillow fire scikit-image

③、数据集处理与准备

    对KITTI数据集进行处理。

In [1]

%cd pointpillars/

In [ ]

!python create_data.py create_kitti_info_file --data_path=kitti

In [ ]

!python create_data.py create_reduced_point_cloud --data_path=kitti

In [ ]

!python create_data.py create_groundtruth_database --data_path=kitti

④、训练

In [2]

!rm -r ./params/model
!python train.py train --cfg_file=./params/configs/pointpillars_kitti_car_xy16.yaml --model_dir=./params/model

step=2, steptime=4.51, cls_loss=4.61e+02, cls_loss_rt=3.25e+02, loc_loss=23.5, loc_loss_rt=25.9, rpn_acc=0.253, prec@10=0.00382, rec@10=0.978, prec@30=0.0038, rec@30=0.919, prec@50=0.00402, rec@50=0.776, prec@70=0.00446, rec@70=0.491, prec@80=0.0052, rec@80=0.375, prec@90=0.00599, rec@90=0.232, prec@95=0.00588, rec@95=0.132, loss.loc_elem=[1.65, 1.5, 1.39, 1.61, 1.78, 1.59, 3.41], loss.cls_pos_rt=2.57e+02, loss.cls_neg_rt=68.0, loss.dir_rt=1.71, num_vox=11987, num_pos=87, num_neg=16460, num_anchors=16680, lr=0.0002, image_idx=Tensor(shape=[1], dtype=int64, place=CUDAPlace(0), stop_gradient=True,
       [2156])
step=4, steptime=5.91, cls_loss=3.5e+02, cls_loss_rt=2.16e+02, loc_loss=23.9, loc_loss_rt=23.3, rpn_acc=0.339, prec@10=0.00442, rec@10=0.958, prec@30=0.00439, rec@30=0.872, prec@50=0.00457, rec@50=0.669, prec@70=0.00504, rec@70=0.356, prec@80=0.00547, rec@80=0.241, prec@90=0.00625, rec@90=0.141, prec@95=0.00663, rec@95=0.0843, loss.loc_elem=[1.31, 1.61, 1.22, 1.38, 1.49, 1.43, 3.2], loss.cls_pos_rt=1.67e+02, loss.cls_neg_rt=48.6, loss.dir_rt=1.4, num_vox=12134, num_pos=104, num_neg=28902, num_anchors=29156, lr=0.0002, image_idx=Tensor(shape=[1], dtype=int64, place=CUDAPlace(0), stop_gradient=True,
       [2865])
step=6, steptime=4.38, cls_loss=2.91e+02, cls_loss_rt=1.88e+02, loc_loss=23.2, loc_loss_rt=20.4, rpn_acc=0.416, prec@10=0.00414, rec@10=0.951, prec@30=0.00405, rec@30=0.84, prec@50=0.00437, rec@50=0.602, prec@70=0.00533, rec@70=0.303, prec@80=0.00576, rec@80=0.194, prec@90=0.00664, rec@90=0.109, prec@95=0.00687, rec@95=0.0621, loss.loc_elem=[1.26, 1.02, 1.2, 1.2, 1.27, 1.15, 3.09], loss.cls_pos_rt=1.44e+02, loss.cls_neg_rt=43.6, loss.dir_rt=1.15, num_vox=14429, num_pos=95, num_neg=26713, num_anchors=26951, lr=0.0002, image_idx=Tensor(shape=[1], dtype=int64, place=CUDAPlace(0), stop_gradient=True,
       [7461])
step=8, steptime=4.34, cls_loss=2.41e+02, cls_loss_rt=86.1, loc_loss=21.7, loc_loss_rt=18.3, rpn_acc=0.505, prec@10=0.00402, rec@10=0.951, prec@30=0.00393, rec@30=0.818, prec@50=0.00439, rec@50=0.527, prec@70=0.00527, rec@70=0.242, prec@80=0.00567, rec@80=0.15, prec@90=0.00651, rec@90=0.0817, prec@95=0.00678, rec@95=0.046, loss.loc_elem=[0.927, 1.13, 1.04, 1.11, 1.09, 1.11, 2.73], loss.cls_pos_rt=64.0, loss.cls_neg_rt=22.1, loss.dir_rt=1.61, num_vox=10764, num_pos=96, num_neg=27143, num_anchors=27391, lr=0.0002, image_idx=Tensor(shape=[1], dtype=int64, place=CUDAPlace(0), stop_gradient=True,
       [6295])
step=10, steptime=6.53, cls_loss=2.07e+02, cls_loss_rt=68.9, loc_loss=20.1, loc_loss_rt=11.7, rpn_acc=0.597, prec@10=0.00373, rec@10=0.948, prec@30=0.00372, rec@30=0.785, prec@50=0.00438, rec@50=0.459, prec@70=0.0053, rec@70=0.204, prec@80=0.0056, rec@80=0.123, prec@90=0.00642, rec@90=0.0664, prec@95=0.00672, rec@95=0.0374, loss.loc_elem=[0.542, 0.715, 0.656, 0.708, 0.654, 0.682, 1.91], loss.cls_pos_rt=50.4, loss.cls_neg_rt=18.6, loss.dir_rt=0.901, num_vox=13760, num_pos=73, num_neg=37547, num_anchors=37763, lr=0.0002, image_idx=Tensor(shape=[1], dtype=int64, place=CUDAPlace(0), stop_gradient=True,
       [4677])
step=12, steptime=4.59, cls_loss=1.8e+02, cls_loss_rt=43.2, loc_loss=19.3, loc_loss_rt=16.1, rpn_acc=0.668, prec@10=0.00353, rec@10=0.947, prec@30=0.00356, rec@30=0.731, prec@50=0.00442, rec@50=0.404, prec@70=0.00536, rec@70=0.177, prec@80=0.00562, rec@80=0.105, prec@90=0.00643, rec@90=0.0562, prec@95=0.0067, rec@95=0.0314, loss.loc_elem=[0.94, 1.0, 0.978, 0.927, 0.933, 0.843, 2.44], loss.cls_pos_rt=30.7, loss.cls_neg_rt=12.6, loss.dir_rt=1.17, num_vox=15485, num_pos=104, num_neg=26403, num_anchors=26661, lr=0.0002, image_idx=Tensor(shape=[1], dtype=int64, place=CUDAPlace(0), stop_gradient=True,
       [724])
step=14, steptime=4.47, cls_loss=1.6e+02, cls_loss_rt=32.9, loc_loss=18.6, loc_loss_rt=14.5, rpn_acc=0.71, prec@10=0.00351, rec@10=0.934, prec@30=0.00355, rec@30=0.669, prec@50=0.00444, rec@50=0.354, prec@70=0.00537, rec@70=0.153, prec@80=0.00565, rec@80=0.0913, prec@90=0.00647, rec@90=0.0489, prec@95=0.00678, rec@95=0.0275, loss.loc_elem=[1.03, 0.846, 0.812, 0.898, 0.903, 0.875, 1.89], loss.cls_pos_rt=21.6, loss.cls_neg_rt=11.3, loss.dir_rt=0.877, num_vox=13753, num_pos=93, num_neg=37505, num_anchors=37749, lr=0.0002, image_idx=Tensor(shape=[1], dtype=int64, place=CUDAPlace(0), stop_gradient=True,
       [906])

⑤、写在结尾

    因为这个写的比较匆忙，可能还有bug没修复，欢迎大佬们来尝试然后给我们提提意见哈哈，预测版本稍后会写出来（其实已经在代码里了，不过还没有fix）。

    我们的项目的GitHub地址：AgentMaker/PAPC

4、Reference

    论文

    nutonomy/second.pytorch

    mmlab/mmdetection3d

    SmallMunich/nutonomy_pointpillars

    hova88/Lidardet

以上就是PointPillars：基于点云的3D快速目标检测网络的详细内容，更多请关注其它相关文章！

# git  # python  # 官网  # 一言  # 中文网  # 是一个  # type  # fig  # 征信  # igs  # red  # 子网  # ai  # 泰兴网站建设  # 安顺市网站优化平台  # 关键词排名点击软件哪好  # 篮球比赛推广营销  # 黄冈网站seo优化开发  # 渠道推广营销  # 深圳中文网站推广方式  # 中山网站营销推广的公司  # 榆林抖音营销推广中心  # 阳江网站建设工作内容  # 还没有  # 这一  # 无人驾驶  # 的是 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 联想举办2025创新开放日，展出260余项算力及AI产品技术  「电子果蝇」惊动马斯克！背后是13万神经元全脑图谱，可在电脑上运行  类GPT模型训练提速26.5%，清华朱军等人用INT4算法加速神经网络训练  跑不动的元宇宙，虚拟世界比现实更冷酷  导演郭帆：人工智能应用可能会影响《流浪地球 3》的创作开发  美版贴吧8000小组自爆停摆！拒绝数据被谷歌OpenAI白嫖，CEO被网友骂翻：背刺第三方应用  将上下文长度扩展到256k，无限上下文版本的LongLLaMA来了？  建立元宇宙产业联盟：移动、咪咕、华为、小米等加入  参考封面|人工智能“淘金热”  专家解读国家网信办深度合成服务算法备案信息公告：不等于百度、阿里、腾讯等生成式AI产品获批  麦肯锡：到 2045 年左右，将有 50% 工作被 AI 接管  AI浪潮席卷，时空壶为何能成为AI翻译时代的破局者  扎克·施奈德新片《月球叛军》曝剧照 机器人首度现身  讯飞听见会写“会议摘要”功能全面升级，AI更懂你的关注点  爱设计 AI 一键生成 PPT 工具上线：输入标题即可生成 PPT  零AI含量！纯随机数学无限生成逼真3D世界火了，普林斯顿华人一作  盘古大模型3.0正式发布 AI开发正走向新“工业化开发模式”  揭晓2025年玻尔兹曼奖：Hopfield网络创始人荣获奖项  清华朱军团队新作：使用4位整数训练Transformer，比FP16快2.2倍，提速35.1%，加速AGI到来！  QQ音乐业内率先推出「AI一起听」功能，领取你的AI听歌助手  全面拥抱大模型浪潮，ISC 2025打造全球首场AI数字安全峰会  人工智能行业急缺人 AI人才年薪能达近42万元  上影节直击 | AI技术降低了短片拍摄门槛？金爵奖评委不赞同  13万个注释神经元，5300万个突触，普林斯顿大学等发布首个完整「成年果蝇」大脑连接组  小米又拿下国际比赛第一：AI翻译立功  乐天派桌面机器人加入小米米家生态系统，实现与其他智能设备的互联  人脸识别+全景双摄+AI算法 萤石推动智能锁行业革新  V社谈AI制作游戏被ban：为确保开发者有素材所有权  AI成政客博弈工具，美国大选真假难辨，律师们的生意来了  “直击”AI新世界，智能机器人再次“火出圈”了  调研海尔智家：AI名，家电命？  上新7款产品，美图继续“蹭”AI  行业首发「超级智绘」AI故事集，TCL实业推进AI技术应用  华为将于 7 月发布面向 AI 大模型的新款存储产品  研究预测HPC支持的人工智能增长迅速  国内首家，360智脑通过中国信通院可信AIGC大语言模型功能评估  成功孵化首个大型模型解决方案的重庆人工智能创新中心  复旦发布「新闻推荐生态系统模拟器」SimuLine：单机支持万名读者、千名创作者、100+轮次推荐  应用生成式人工智能技术改善农业产业  Stability AI 推出文生图模型 SDXL0.9，GPU要求下探至消费级水平  世界上第一个完全由人工智能驱动的图像编辑器！  “长沙造”无人机，领先的不止植保  原小米 9 号员工李明打造全球首款 AI 安卓桌面机器人  谷歌推出RT-2视觉语言动作模型，使机器人能够掌握垃圾丢弃技能  人工智能：解决劳动力短缺的关键策略  意大利警察拟用AI预测犯罪 该算法被指种族歧视严重  十个AI算法常用库J*a版  实践J*a开发，构建高性能的MongoDB数据迁移工具  花16000元买四款扫拖机器人！科沃斯追觅石头小米谁能笑到最后？  AI新视野，增长新势能，伙伴云受邀出席笔记侠创业讲真话AI峰会