中年|微软亚洲研究院王井东：下一代视觉识别的基本网络结构是什么样的？

本文插图

网络结构除了以上所述HRNet一系列东西之外，还有很多非常重要的研究，比如怎么利用人的常识帮助网络设计，怎么设计轻量化网络，怎么与计算机硬件联系一起。

本文插图

计算机视觉中，怎么为具体的任务设计网络结构的研究也非常多。我给大家简单介绍一下我们在ECCV 2020和CVPR 2020的关于Head Architecture Design的工作，主要研究如何把人的常识加进设计中。

本文插图

这里给大家讲一下语义分割，语义分割要预测每个像素点的标签。深度学习在该领域内的应用非常广泛，FCN是一个标准方法，一个图像经过一个网络结构，最后预测像素点的标签。由于每个像素点本身没有标签，它的标签来自对周围信息的判断，所以通常会加上上下文的信息。
在介绍我们的方式之前，大家可以了解下以前的方法。
以前的方法主要是Spatial context（空间上下文）比如有PPM、ASPP ，它是在像素点周围有规律地选出一些像素点，以求得当前像素点表征，进而进行标注，我们把它称为空间式。

本文插图

我们的方法是Object context（对象上下文），它的出发点非常简单，正如前面提到，像素点本身没有标签，标签来自于这个像素点所在的物体，比如下图红色的点，这个位置很难有标签，它的标签来自于这个车。运用这个出发点，我们思考路径是：能不能拿到这个红色像素点所在的物体特征，来帮助表达这个红色的像素点。基于这个出发点，我们提出了OCR方法。

本文插图

OCR的方法涉及鸡生蛋还是蛋生鸡的问题。我们事先并不知道分割，是先估计一个粗略的分割，有一个当前的表达，比如下图，取红色像素点的特征，把它输入到模块里，得到红色像素点当前的特征和其它的若干特征（K object regions），然后把这些特征经过变换，算出它们之间的相似度，根据相似度，经过加权池化（weighted pooling），然后得到像素点的表征，根据这个表征以及以前的表征一起进行预测。

本文插图
从数据看， HRNet+OCR的方法的结果为82.5 ，这是发表文章时业界最好的结果。

本文插图

另外简短介绍一下自下而上姿态预测（Bottom-Up Pose Estimatiom）中的工作。
它不需要人体的检测就可以直接预测人体的关键点。
其中有个关于人体大小不一的问题，以前的方法没有确切的解决方式，我们提出“高分辨率特征金字塔”的方法。把图形输入到HRNet中做一个表征，从小的特征中分辨大的，从大的特征里面分辨小的，这个方法的结果表现也是非常好。

本文插图
最后简单总结一下，我讲的主要是HRNet ，作为一个通用的网络结构，给大家展示了在视觉分割、检测、人体关键点、人脸关键点的预测等的原理，一系列的结果都比ResNet好，目前已经成为一个标准的方法。除此以外，我们借助基于具体任务的网络结构设计，比如加上OCR的方法、高分辨率特征金字塔（Higher-Resolution Feature Pyramid）的方法取得的效果都非常好。

中年|微软亚洲研究院王井东：下一代视觉识别的基本网络结构是什么样的？ | CCF-GAIR 2020( 五 )

推荐阅读

为消费添活力，“平安国美中国行”杭州站专享福利惊喜不断

颅内出血可以有多严重?

Mate|华为“Mate”品牌商标新注册8个产品类别

8月18日深圳新增3例无症状感染者！来自俄罗斯

生死狙击租号？星球之光歌词每一句谁唱的？

调查|中信证券国泰君安等被自律调查券商低价争抢债券承销业务惹关注

该怎样处理与父母间的金钱关系

梁思成后妻林洙：林徽因不是个好太太，不会做饭不会照顾孩子

大龙哥侃世界|有资格在8月加入国防队伍，印度200多万变性人即将见证历史

大众网|董子健《流金岁月》杀青多部作品蓄势待发

正商参阅京东终迎翻身仗？，“前浪”也凶猛

甜甜儿smile|今夏的休闲个性，交给牛仔裤就行了，让你简单穿搭就足够时尚靓丽

[惰惰林]个个都仙出新高度，哪一个你的最爱？，新古装四大美女出炉

仨三搞笑说|哈弗H9引领智能越野新时代，普拉多国六陨落

订套餐送婴儿车、洗牙器、扫地机器人……孕妈们快“戳进来”获取入场权限

带你搞笑到天黑：库利巴利大概率去虚拟体育英超，英超：利物浦不需要万博维尔纳

王诗龄|王诗龄：我干爹是何炅，嗯哼：我干爹是李晨，小海绵：都闪开！

陈赓：386旅后来去哪了？接替陈赓的3位旅长，后来都是什么军衔？

2021年结婚不用给彩礼是真的吗?-2021年结婚彩礼新规定-2021年结婚禁止索要彩礼

米切尔|87＋15！米切尔疯狂2战成超巨，单节21分打爆掘金，亿元合同要定了