江苏龙网

  1. 首页 > 资讯 > 科技 > >

|当随机采样遇见插值，微软亚研提出节省推理计算量的新范式( 二 )


按照上述分析 ， 本文提出了随机采样 - 插值网络（如 Fig. 2(a) 所示） 。 该网络包含采样模块、稀疏卷积与插值模块三个部分 。
采样模块
本文使用二类的 Gumbel-Softmax 来模拟离散采样的过程 ， 其定义如下：
|当随机采样遇见插值，微软亚研提出节省推理计算量的新范式
本文插图

其中π表示采样概率 ， 由一个3×3卷积和 Sigmoid 函数输出 ， g表示噪音项 ， 这是 Gumbel-Softmax 随机性的根源 。 如果去掉噪音项g ， 则 Gumbel-Softmax 退化为一个确定性采样方法 。 τ则是温度项 ， 当温度较高时 ， M是一个可微的连续函数 ， 而当温度较低时 ， M退化为一个二值函数 。 温度项的初始值在训练开始时被设为 1 ， 然后随着训练轮数的增加指数级下降 ， 在训练结束时 ， τ接近于 0 。 通过这种方式 ， 掩模M既可以在训练的中前期被充分训练 ， 又能在训练后期使得M接近于一个二值化掩膜 ， 从而保持与推理阶段一致的行为 。 同时 ， 为了激励网络产生稀疏的采样掩膜 ， 本文引入稀疏损失函数（Sparse Loss） ， 其定义如下：
|当随机采样遇见插值，微软亚研提出节省推理计算量的新范式
本文插图

将其与下游任务的损失函数结合 ， 就可以得到最终的目标损失函数：
|当随机采样遇见插值，微软亚研提出节省推理计算量的新范式
本文插图

其中 ， γ是稀疏损失的权重 ， 通过调整γ我们可以获得不同程度的稀疏性 。
插值模块
在使用采样模块生成采样掩膜M后 ， 我们可以利用稀疏卷积来得到稀疏的特征图Y_S ， 再通过插值模块对Y_S进行补全 ， 得到完整的特征图Y^* 。 然而 ， 补全特征所需要的最优插值形式是一个开放性问题 。 本文探索了三种不同的插值函数：RBF Kernel、Plain Convolution 以及 Average Pooling ， 并在实验中发现 RBF Kernel 表现优于其他两种函数 ， 因此本文将其作为默认的插值方法 。
同时 ， 由于空间冗余具有局部性 ， 因此我们可以使用滑动窗来实现高效的插值 。 为了避免在滑动窗内没有采样点的情况 ， 本文额外使用了一个等间距均匀采样 ， 但高度稀疏的掩膜M_grid与网络学习到的掩膜M_sample通过如下方式结合 ， 得到最终使用的掩膜M：
|当随机采样遇见插值，微软亚研提出节省推理计算量的新范式
本文插图

利用这个技术 ， 尽管最终性能并不受太多影响 ， 但网络的训练过程可以变得更加稳定 。
|当随机采样遇见插值，微软亚研提出节省推理计算量的新范式
本文插图

与 Residual Block 进行集成
随机采样 - 插值网络可以被很容易地集成到常见的网络架构中 ， 在此 ， 本文以 Residual Block 作为例子进行介绍 。 如 Fig.3 所示 ， 有三种不同的集成方法 ， 作者通过实验发现 Fig.3 (b) 的效果最好 ， 因此使用其作为默认设定 。
实验与分析
消融实验
本文在 COCO2017 物体检测数据集上对其关键设计进行了验证 。 不同插值函数对结果的影响如 Table.1 所示：在 mAP 相当的情况下 ， RBF Kernel 使用了更少的计算量 。 Table. 2 则比较了去掉插值模块对结果的影响 。 其对应的两个基线模型：对未采样区域的特征进行补零（Fill Zeros）或使用复用特征（Reuse Feature）均明显劣于本文所提出的插值方法 。 Table. 3 则研究了 Grid Prior 对结果的影响 。
|当随机采样遇见插值，微软亚研提出节省推理计算量的新范式
本文插图

在物体检测与语义分割中与其他方法的比较
Fig.4 中展示了本文所提出的方法与其他方法在 Speed-accuracy trade-off 下的比较 。 相比于基于均匀采样的方法（即缩小输入图片的尺寸） ， 该方法效果提升十分显著 。 而与其他确定性采样方法相比 ， 该方法也具有明显的优势 。


推荐阅读


上一篇：|一文读懂Perpetual协议，它将带来DeFi衍生品的春天？| DeFi新项目

下一篇：|自制「低配版」开源波士顿动力机器狗:53万买不起,有树莓派就够了