[]200倍的提速！华人博士生提出大场景三维点云语义分割新框架( 四 )

总结一下：
对于大场景点云， FPS, IDIS和GS的计算代价都比较高，CRS对GPU内存的要求太高，而PGS难以学到一个有效的采样策略(sampling policy) 。相比之下，随机采样具有以下两个优点：1)计算效率高, 因为是常数计算复杂度, 与输入点数无关 2)内存开销少，采样过程并不需要额外的内存消耗。因此，对于大场景点云作为输入的情况，我们何不尝试下随机降采样呢？
但新的问题又来了：随机地对点云进行降采样势必会导致有用的信息被丢失，如何克服这个问题？
Local Feature Aggregation
为了缓解这个问题，我们进一步提出了与随机采样互补的局部特征聚合模块(Local feature aggregation) 。如图所示，该模块主要包括三个子模块:1)局部空间编码(LocSE), 2) attentive pooling, 3)扩张残差块(dilated residual block) 。

本文插图
图 4. 局部特征聚合模块。包括局部空间编码(Local Spatial Encoding) ， Attentive Pooling以及Dilated Residual Block三个子模块。
(1) 局部空间编码(Local Spatial Encoding)
此模块用于显式地对输入的点云的三维坐标信息进行编码。不同于直接将各个点的三维坐标作为一个普通的通道特征输入到网络中， LocSE模块旨在显式地去编码三维点云的空间几何形状信息，从而使得网络能够从各个点的相对位置以及距离信息中更好地学习到空间的几何结构。具体来说分为以下步骤：

首先，我们用最近邻搜索算法为每一个点找到欧氏空间中最近的个邻域点
对于的个最近邻点 , 我们显式地对点的相对位置进行编码，将中心点的三维坐标 , 邻域点的三维坐标 , 相对坐标以及欧式距离连接(concatenation)到一起。如下所示：
最后我们将邻域点对应的点特征与编码后的相对点位置连接到一起，得到新的点特征。

在Semantic3D ， S3DIS以及SemanticKITTI等多个数据集上实验：优势明显
Experiments
(1) Efficiency of Random Sampling
首先我们对上述提到的采样策略进行评估，主要从计算时间和GPU内存消耗两个方面来考量。具体来说，我们进行如下的实验：仿照PointNet++的主体框架，我们持续地对点云进行降采样，总共五次降采样，每次采样仅保留原始点云中25%的点。实验结果如下图所示，可以看出：

对于小规模的点云~10^3, 上述采样方法在计算时间和内存消耗的差距并不明显, 总体来说都是可接受的
对于大规模点云~10^6, FPS/IDIS/GS所需要的计算时间显著增加, 而CRS需要占用大量的GPU内存(图b虚线) 。
相比之下， RS在计算时间和内存消耗方面都有着显著的优势，因此非常适合处理大规模点云。这个结果也进一步说明了为什么大多数算法选择在小规模点云上进行处理和优化，主要是因为它们依赖于昂贵的采样方法。

本文插图
图 7. 不同采样方法的时间和内存消耗。虚线表示由于GPU内存有限而产生的估计值
(2) Efficiency of RandLA-Net
我们进一步对RandLA-Net在处理真实场景中的大规模三维点云的效率进行评估。具体来说，我们选择在SemanticKITTI数据集的验证集(序列8：一共4071帧)进行对比测试。主要评估以下三个方面的指标：总时间，模型参数以及网络最多可处理点数。公平起见，我们在每一帧中将相同数量的点(81920)输入到baseline以及我们RandLA-Net中。实验结果如下表所示，可以看出：