「」飞桨火力全开，重磅上线3D模型：PointNet++、PointRCNN！( 二 )
通过下面的动态图 ， 可以帮助大家更好的理解多级点集特征学习的实现 。
图中将 Paddle 首字母“P”做一个局部坐标 ， 通过 PointNet++ 提取特征 ， 得到一个新的点 。重复这个操作 ， 会得到另一个小区域的点 。
经过一系列操作之后 ， 会得到一组新的点 。这组点在数量上少于输入的点 ， 但每个点都代表了周围区域的几何特征 。
【「」飞桨火力全开，重磅上线3D模型：PointNet++、PointRCNN！】②分类任务（Classification）
类似于传统的图像分类 ， 模型将全局特征送入全连接网络中 ， 最终得到预测的类别概率 。
③分割任务（Segmentation）
对于语义分割任务 ， 需要从低分辨率特征中上采样还原高分辨率的特征 。对于 CNN 模型 ， 一般是使用 2D 图像插值的方式实现 。
PointNet++ 模型采用提取最近的 3 个近邻点 ， 并通过这三个点加权平均的方式插值获得上采样点 。
此外 ， PointNet++ 还因其对输入数据顺序置换的不变性、轻量级结构、对数据丢失非常鲁棒等特征 ， 非常适合工业领域应用 。
实验结论
PointNet++ 模型测试精度如下：
文章图片
文章图片
No.3
PointRCNN 原理和实验表现
3D 目标检测模型 PointRCNN 借鉴了 PointNet++ 和 RCNN 的思想 ， 提出了自底向上的生成和调整候选检测区域的算法 ， 网络结构如下图所示 。
文章图片
文章图片
PointRCNN 的网络结构分为两个阶段：第一阶段自底向上生成 3D 候选预测框；第二阶段在规范坐标中对候选预测框进行搜索和微调 ， 得到更为精确的预测框作为检测结果 。
第一阶段：对 3D 点云数据进行语义分割和前背景划分 ， 生成候选预测框 ， 有如下三个关键部 。
①点云特征提取：通过 PointNet++ 对点云数据进行编码和解码 ， 提取点云特征向量 。
②前景点分割：根据提取的点云特征向量 ， 使用 focal loss 区分前景点和背景点 。focal loss 能有效地平衡前景点和背景点比例失衡问题 ， 从而得到更为准确的分类效果 。
③生成候选框：采用候选框箱模型（bin）的方法 ， 将前背景点分割信息生成预测候选框 。
举例来说 ， 将候选框定义为参数（x ， y ， z ， h ， w ， l ， θ）表征的空间中的箱体 ， 其中（x ， y ， z）为箱体中心坐标 ， （ h ， w ， l）为箱体在中心坐标方向上的大小 ， θ 为鸟瞰视角上（y 方向从上往下看）箱体在 x-z 平面的角度 。
文章图片
文章图片
bin 的执行方式为：先根据前景点的分割信息粗分其所属的箱体；再在箱体内部对其做回归 ， 得到箱体参数作为预测框；最后对预测框做 NMS（Non-Max Suppress ， 非极大值抑制） ， 得到最终预测候选框 。
第二阶段：在规范坐标中微调候选预测框 ， 获得最终的检测结果 ， 有如下五个关键部分 。
①区域池化：对候选框内每个点的特征进行池化 。
②坐标转化：为了更好地获取局部信息 ， 需要将多个候选区域中的前景点坐标（同一个坐标系）转化为局域坐标系中的规范坐标（以预测框为中心点的多个坐标系） ， 如下图所示 。
文章图片
推荐阅读
- @友商火力全开，6GB运存+4800万四摄+大电池+20W闪充，跌至1048元
- 「科技X菌」轻薄高性能+超级闪充，OPPO Ace2火力全开，明天等一个价格？
- 科技小E■友商火力全开，6GB运存+4800万四摄+大电池+20W闪充，跌至1048元
- 『』倒计时两天，OPPO Ace2爆料汇总，轻薄高性能火力全开！
- #5g#库克火力全开，新款iPhone再降价，销量很可观，5G真没那么重要？
- 「小米」同比大涨160%，百款智能产品火爆销售！小米AIoT智能设备火力全开
- 『开发者』开发者称：索尼PS5比Xbox Series X更容易性能全开
- 『小米』米粉节火力全开，好物齐降价，这几款产品你怎么看？
- 『科技小E』库克火力全开，苹果A13+无线充电+面容ID，iPhone11跌至冰点价
- ：生产线“火力全开”，“科研线”大手笔投入！这家企业交出复工亮眼成绩单