其次 ， 研究人员展示了模式化剪枝对深度神经网络精度的提升 。 通过剪枝 ， 深度神经网络将图像的细节「看得」更清了 。 如图6所示 ， 通过不同的可视化方法 ， 经过模式化剪枝的深度神经网络模型对于图像有明显的增强作用 ， 模式化剪枝后的模型能够提取图像中更多的关键特征 ， 并降低图像中的噪声 。
再次 ， 研究人员展示了在不同种类的模式集（Phase1、2、3）下 ， 多种深度神经网络在CIFAR-10与ImageNet训练集上不同程度的精度提升效果 ， 如图7（a）所示 。 我们发现 ， 在绝大多数情况下 ， 当模型加载Phase2（同时也是理论推导得出的模式集）时 ， 深度神经网络的精度提升幅度更大 。 这一现象使研究人员更加确信 ， 基于理论得出的卷积核模式同时也是算法实现层面上对于深度神经网络最佳的卷积核模式 。
图7（b）从另一个角度佐证了这一观点：当拥有不同种类模式集的深度神经网络模型叠加相同剪枝率的连通性剪枝时 ， 拥有Phase2的模型能够保持更高水平的模型精度 。 研究人员在不同的网络结构模型中观察到了同样的现象 。 因此可以证明 ， Phase2模式集拥有更加稳定的精度表现 。
表1进一步展示了模式化剪枝的总体结果 ， 研究人员将最好的剪枝精度与其模式集类型记录在表格中 ， 并与其他研究工作进行系统性对比 ， 结果表明大部分拥有最高精度的剪枝模型是基于Phase2模式集的 ， 这一现象同时体现在不同的数据集与深度神经网络中 。
最后 ， 该研究测试了基于编译器的移动端推理框架对模式化剪枝模型的加速效果 。 实验结果表明 ， 模式化剪枝与编译器的协同优化极大地提高了移动端的推理速度 。 在移动端 ， 研究人员使用了SamsungGalaxyS10智能手机来测试推理速度 。
如图8所示 ， 研究者测试了基于Phase2模式集的稀疏化深度神经网络模型在ImageNet图像上的推理速度与在现有的深度神经网络加速器（TVM、MNN、TensorFlow-Lite）上的速度对比 。
结果表明 ， 该研究提出的模式化剪枝与通用型移动端推理框架在推理速度上远远超过现有的加速器 。 事实上 ， 在每一种网络结构下 ， 该研究提出的方法在移动端都能在没有精度损失的情况下实现实时计算的要求（30frames/second ， 即33ms/second） 。 例如 ， 在大型神经网络VGG-16上 ， 该方法的推理时间仅为15ms 。 这一对于最优的模式化剪枝方法与通用型的移动推理框架的研究使得在移动端对任意神经网络进行实时运算变为可能 。
推荐阅读
-
乒乓王者@18号两个国乒老将之间能擦出什么样的火花，张继科宣布应战
-
-
盖亚假说|地球本身就是巨大“外星人”？人类寄生在其上
-
-
新华网|沙特宣布卡舒吉遇害案终审判决结果 5人被判处20年监禁
-
-
春秋弈棋|原神：可莉UP池即将结束，萌新玩家，到底要不要入手可莉？
-
司徒觅丝一乞丐抖着碗挡住了我的去路，幽默笑话：辞职回家的路上
-
晴天情感小铺|多少彩礼算合适？两位女人的真心话，很中肯，对女人而言
-
-
1818黄金眼|儿子只学会背圆周率？，七千八报了培训班
-
简单观察|一水平失守恐将进一步下跌，黄金多头逃窜进一步抛售风险恐加大
-
-
中华周易研究院|聪明能干，旺夫旺财，容易嫁入豪门！，六种“王妃命”的女人相
-
拜托了收姐|那你真的要亏大了！，收纳秘籍丨这面墙不做收纳
-
「」2020年被誉为“最难”高考年？这两个原因很现实，考生如何突破？
-
-
-
减肥餐搭配|剪秋水重脸术用于双眼皮修复能否趋于天然
-
