『设计』RDSNet：统一目标检测和实例分割的新型网络( 二 )
本文插图
其中 ， 表示卷积算子 。 有个通道的的相似度图可以看作对于目标的像素级的前景及背景概率响应图 。 在训练阶段 ， 逐像素的交叉熵损失被应用在上 。 对于图像中的所有目标 ， 分别并同步地重复相关性操作 。 相关性模块使得掩膜生成器可以端到端的训练 。 从某种意义上来说 ， 这里具有相关性方法的训练过程类似于Metric Learning ， 也即是说会将前景像素的表示拉向特征空间中其对应的目标表示 ， 并将背景像素推开 ， 如Figure3所示 。
从平移到平移在经过相关性模块之后一般就是将目标框进行裁剪（除了目标框之外其它像素都置为背景）然后仅仅在目标框范围内进行逐像素分类 ， 但这会使得实例掩膜图受到定位误差的影响 。 为了解决这个问题 ， 通过扩展目标检测框来作出折衷 ， 并且使得足够远的像素不参与实例分割 。 总结下来就一句话 ， 扩展目标检测框用于实例分割缓解定位不准的问题 。 另外还使用了OHEM策略来缓解前景背景像素不均衡的问题 。
3.3 掩膜辅助目标检测在生成了掩膜之后 ， 就可以确定一个刚好包含掩膜的矩形区域 ， 这可以用来辅助检测流中的目标定位 。 尽管回归边界框或许会有定位错误 ， 但本文认为它们在某种程度上仍为边界框提供了合理的先验 。 因此 ， 我们的公式结合了检测和分割结果 。 具体点 ， 我们将边界框坐标视为离散变量 ， 从概率的角度来看 ， 目标边界位置是所有可能边界所在坐标的argmax值 ， 即：
本文插图
其中 ， 是左边界水平坐标的离散随机变量 ， 是等式(1)中的前景通道 ， 所以为的通道都被移除了 ， 然后表示给定相应实例掩膜的后验概率 。 下面 ， 我们仅以左边界为例 ， 同时也可以类别其它的边界 。 遵循贝叶斯公式 ， 我们有：
本文插图
其中和是相应的先验概率和似然概率 。 假设边界仅仅与中每一行的最大值有关 ， 并且只对相邻像素产生产生影响 ， 那么似然概率可以表示为：
本文插图
其中 ，。 是超参数 ， 描述边界对其相邻像素的影响范围 。 理想情况下 ， 边界上的像素只影响最邻近的2个像素 ， 在BBox外面的像素概率为0 ， 在BBox里面的像素为1 。 但由于分割掩膜边缘通常不是很尖锐 ， 所以想给一个明确的公式很困难 。 所以这里使用一个尺寸为的一维卷积来估计 ， 后面跟着一个sigmoid函数用来归一化 。 对于 ， 我们使用一个一个高斯分布：
本文插图
其中是归一化系数 。 显然 ， 边界位置的分布和实例尺度有关 ， 因此我们设置：
本文插图
其中表示BBox的宽度 ， 表示回归框左边界的水平坐标 ， 可以看到一个更小的表示一个更高的回归边界权重 。 在训练过程中 ， 将GT按照长宽方向转换为One-Hot编码形式 ， 并使用交叉熵损失来训练上述坐标分类任务 。
3.4 损失函数RDSNet的损失函数可以表示为：
【『设计』RDSNet：统一目标检测和实例分割的新型网络】
本文插图
可以看到整个任务的损失主要包含 ， 分类 ， 定位和分割损失 ， 当L训练收敛之后还要优化Figure2中展示的MBRM中的损失 ， 也就是3.3节描述的 ， 剩下的和分别代表回归损失和分割损失的平衡系数 。
推荐阅读
- 吴铭园|华为概念机设计图首次曝光，居然采用屏下摄像头技术
- 生活海风说|三星Sero开售，专为匹配智能手机等移动设备而设计的电视
- |6大数据可视化应用设计规范
- 搜狐新闻|【复材资讯】碳纤维机器人手臂设计需要考虑的要素
- IT爆料王|大梦初醒、iPhone12外观梦回苹果4：砖式设计有望回归！
- cnBetaTB|俄罗斯Elbrus 8CB处理器曝光 采用台积电28nm 8核VLIW设计
- 专门网|APP流氓自启、互相唤醒将成历史，工信部推统一推送联盟再进一步
- |壮大IC设计等为主的数字产业，临港发布信息飞鱼规划方案
- 互联网乱侃先生|这就是芯片设计上的差距：5种常见架构，美国占4种，英国1种
- 映维网VRTB|深度分享：MR交互设计之“原则篇”