江苏龙网

  1. 首页 > 资讯 > 科技 > >

[机器之心]张航、李沐等人提出ResNet最强改进版：性能提高3％，参数不增


机器之心报道
【[机器之心]张航、李沐等人提出ResNet最强改进版：性能提高3％，参数不增】 机器之心编辑部
性能显著提升 ， 参数量却没有明显增加 。 最新的 Split-Attention Networks 继承了 ResNet 简洁通用的特性 。
2015 年 ， ResNet 横空出世 ， 一举斩获 CVPR 2016 最佳论文奖 ， 而且在 Imagenet 比赛的三个任务以及 COCO 比赛的检测和分割任务上都获得了第一名 。 四年过去 ， 这一论文的被引量已超 40000 次 ， 也陆续出现了很多变体 。 最近 ， 来自亚马逊、加州大学戴维斯分校的张航、李沐、Alexander Smola 等研究者进一步改进了 ResNet ， 性能显著提升 ， 但参数量并没有显著增加 ， 超越了之前的 ResNeXt、SENet 等模型 。
该研究的一作 ， 亚马逊应用科学家张航表示：「分类网络通常作为下游应用的核心 ， 但是最近很多分类问题的工作没有保持之前 ResNet 那样的模块化的设计 ， 导致目标检测等主流应用的研究还在使用 ResNet 。 所以我们设计了新的 ResNet 变体 ResNeSt ， 可以直接应用到已有的主流模型中 ， 显著提高 Mask R-CNN ， Cascade R-CNN 等模型的结果（~3%） 。 」
[机器之心]张航、李沐等人提出ResNet最强改进版：性能提高3％，参数不增
本文插图

论文地址：https://hangzhang.org/files/resnest.pdf
项目地址：https://github.com/zhanghang1989/ResNeSt
尽管图像分类模型不断进化 ， 但目标检测、语义分割等多数下游任务仍在使用 ResNet 变体作为其骨干网络 ， 因为后者拥有简单而模块化的结构 。
在这份论文中 ， 研究者提出了一种模块化 Split-Attention 块 ， 可以将注意力分散到若干特征图组中 。 按照 ResNet 的风格堆叠这些 Split-Attention 块 ， 研究者得到了一个 ResNet 的新变体 ， 称为 ResNeSt 。 它保留了整体的 ResNet 结构 ， 可直接用于下游任务 ， 但没有增加额外的计算量 。
研究者致力于对 ResNet 进行简单的架构修改 。 具体地说 ， 每个块都将特征图分为几组（根据通道维数）和更细粒度的子组或 splits ， 其中 ， 每个组的特征表示是通过它的 splits 表示的加权组合确定的（根据全局上下文信息选择权重） 。 研究者将得到的结果单元称为 Split-Attention 块 ， 它简单且模块化 。
实验表明 ， ResNeSt 优于其他拥有相似模型复杂度的网络 。 ResNeSt-50 在 ImageNet 上实现了 81.13% 的 top 1 准确率 ， 比此前最好的 ResNet 变体高 1% 以上 。 这一提升对于目标检测、实例分割、语义分割等下游任务来说很有意义 。 此外 ， 将 ResNet-50 的骨干网络替换为 ResNeSt-50 ， MS-COCO 上 FasterRCNN 的 mAP 从 39.25% 提升至 42.33% ， ADE20K 上 DeeplabV3 的 mIoU 从 42.1% 提升至 45.1% 。
[机器之心]张航、李沐等人提出ResNet最强改进版：性能提高3％，参数不增
本文插图

表 1:如左图所示 ， 在速度与准确率的平衡方面 ， ResNeSt 达到了 SOTA 水平；右上图为 ResNeSt 在 ImageNet 上的 Top-1 准确率；右下图为迁移学习结果：MS-COCO 上的目标检测 mAP 以及 ADE20K 上的语义分割 mIoU 。
Split-Attention 网络
Split-Attention 块
Split-Attention 块是一个由特征图组和 split attention 运算组成的计算单元 ， 下图展示了 Split-Attention 块的整体思路：
[机器之心]张航、李沐等人提出ResNet最强改进版：性能提高3％，参数不增
本文插图

特征图组（Feature-map Group）
与 ResNeXt 块一样 ， 输入的特征图可以根据通道维数被分为几组 ， 特征图组的数量由一个基数超参数 K 给出 ， 得到的特征图组被称为基数组（cardinal group） 。 研究者引入了一个新的底数超参数 R ， 该参数规定了基数组的 split 数量 。


推荐阅读


上一篇：史鉴今朝@打孔屏+天玑1000小米Note10曝光，小米Note9白菜价任性史无前例！

下一篇：史鉴今朝：小米MIX4曝光3D曲面屏+MIUI 12，小米MIX3跌至白菜价彻底疯抢！