江苏龙网

  1. 首页 > 资讯 > 科技 > >

机器之心|从英伟达A100 GPU说起，浅谈细粒度结构化稀疏( 二 )


通过对模型施加这一结构约束 ， 我们获得了规整的结构 ， 权重的随机性被限制在了每个组内 。 这部分随机性带来的问题可以通过将同一组权重对应的数据完全装载到计算核心的寄存器上来解决 ， 从而避开随机访问外存带来的延迟问题 。 这一结构同时也允许我们对网络推理计算在组边界上进行分割, 从而更好的将计算分块化以最大程度利用的加速器的多核并行计算能力 。
细粒度结构化稀疏在英伟达 A100 中的应用
这一例子中的结构正好和英伟达在 A100 中使用的一样 ， 在这一稀疏度下网络中一半的计算因为权重为 0 被跳过 。 英伟达选择了 4 个权重为一组 ， 延续了他们之前在 Volta 架构中引入的张量核 (Tensor Core) 结构中所使用的 4x4 数据结构 。
在 A100 中所采用的设计只支持 50% 的原生稀疏度 ， 这和我们在近期网络剪枝论文中读到的经常剪枝到很高稀疏度的网络还是很不一样的 。 50% 的稀疏度对于网络构成的约束不是那么强 ， 多数情况下能够比较容易地做到无损剪枝 。
细粒度结构化稀疏剪枝
A100 的硬件设计决定了只能支持 50% 这一种稀疏度 ， 要想支持其他的稀疏度就得改变权重组的大小和组内非零权重的数量 。
那么如果使用更大一些的权重组及保留更少的非零权重比例 ， 会出现什么样的情况呢？对细粒度结构化稀疏网络的剪枝与常规的稀疏网络剪枝情况不大一样 。 常规的稀疏网络剪枝操作过程中 ， 如下图左所示被剪对象是在一个较大的候选池中选出 ， 所以重要特征被剪掉的概率相对较小 。 而在细粒度结构化稀疏网络的剪枝中（下图右） ， 每次剪枝的候选池大小就是权重组的大小（本示例中组大小为 2） ， 所以有用权重被剪掉的概率要比普通剪枝大很多 。
机器之心|从英伟达A100 GPU说起，浅谈细粒度结构化稀疏
本文插图
剪枝示例 。 左：全局剪枝能稳定的剪除小权重；右：分组剪枝过程可能导致重要权重被剪掉 。
从理论计算来看 ， 使用较大的权重组会对模型构成相对较弱的约束；与同等稀疏度的非结构化稀疏相比较 ， 结构化细粒度稀疏带来的额外约束会随着稀疏度的增加而上升[5] 。 换句话说 ， 细粒度结构化稀疏会在权重组较大、稀疏度不是太高的情况下 ， 效果相对较好 。 所以可能将细粒度结构化稀疏与通道级的结构化剪枝结合会获得更优的模型 。
在英伟达给出的技术方案中 ， 他们建议首先训练非稀疏网络 ， 而后对网络进行细粒度结构化剪枝 ， 再使用学习率重卷 (learning rate rewinding) 的方式对网络进行重训练 。 这里的 learning rate rewinding 就是对剪枝后的网络使用原始网络的学习率安排表进行重训练 [6] 。
A100 中的网络稀疏度不高 ， 那么如果要将模型结构扩展到更加稀疏的情况 ， 学习率重卷是否仍能达到较好的结果呢？这一点还有待研究 。 研究 [5] 使用了一种叫做 targeted dropout[7]的训练方法 ， 在该方法中被剪除的权重有机会得到恢复 ， 因而能更好的应对细粒度结构化稀疏中小权重组造成的压力 。 实验显示这一做法的效果优于常用的 iterative pruning[1] 。
细粒度结构化稀疏的研究应用目前还处在较初期的阶段 ， 由于其独特的硬件友好特性相信这一设计未来会被更多的加速器采用 。
参考文献：
1. Deng B, Li G, Han S, Shi L and Xie Y. Model Compression and Hardware Acceleration for Neural Networks: A Comprehensive Survey. Proceedings of the IEEE, vol. 108, no. 4, pp. 485-532, April 2020, doi: 10.1109/JPROC.2020.2976475.
2. Mao H, Han S, Pool J, Li W, Liu X, Wang Y and Dally W. Exploring the Regularity of Sparse Structure in Convolutional Neural Networks. arXiv preprint arxiv:1705.08922.
3. Wu X, Liu X, Li W, and Wu Q. Improved expressivity through dendritic neural networks. Advances in neural information processing systems. 2018.


推荐阅读


上一篇：司马半芹|原创 工业自动化控制在工业4.0时代下有怎样发展前景？

下一篇：双11致富故事|税务总局出手，电商刷单末日来临