业界首个！大规模多相机通用物品场景数据集MessyTable( 二 )

本文插图
表1：MessyTable与类似多相机数据集的规模对比
4 MessyTable有哪些设计上的考量？
答：
我们主要有三个设计：场景难度等级、多相机的设置以及通用物品的选择。
场景难度等级：我们将MessyTable的场景设计为三个难度等级。越困难的场景中有更多的遮挡、相似相同的物体以及更多物体处于共享视野之外。详见图3 。

本文插图
图3：a）三个难度等级的场景示例；b）更难场景有更多的实例；c）更难场景有更少的实例出现在共享视野；d）更难场景有更多相同物体的实例
多相机的设置：为了研究相机相对角度对关联表现的影响，我们设置了9个相机以及567个不同的相机部署方案，产生了2万多对相对相机位置。详见图4 。

本文插图
图4：a）相机在空间中的均匀分布（投影至1号相机）；b）采集中的相机布置；c）相对相机角度的分布有极大的多样性
通用物品的选择：我们挑选了120种餐桌上常见的物体：60种超市商品、23种果蔬、13种面点以及24种餐具，包括多种大小、颜色、纹理和材料。在图5中我们统计了这些物体的出现频率，在图6中我们罗列了完整的物体清单。

本文插图
图5：120种物体的出现频率

本文插图
图6：全物体清单
5 各种算法在MessyTable上的表现如何？
答：
我们测试了多种算法基线（见表2）。单应性投影（Homographic projection）并不意外地表现很差，因为其关键的物体都在同一平面的假设在复杂场景中不成立；基于SIFT关键点提取的传统方法效果也不好，因为无纹理的物体上关键点极少；基于深度学习的Patch-Matching的方法如MatchNet、 Deep-Compare及DeepDesc效果一般，而基于Triplet结构的基线表现有较大幅度的提升，但也受限于无法区分相似相同的物体；

本文插图
表2：各算法基线在MessyTable上的表现显示结合外观信息、周围信息、几何信息的算法取得最好的效果
我们发现除了外观信息，周围信息非常重要。因此我们提出将检测框之外的信息包括进来。我们将这个操作称之为Zoom-out 。但是我们发现直接在Triplet网络上加上Zoom-out效果不好，于是我们观察人类的行为：一个人只有当物体本身的特征信息不足时，才会从周边寻求线索。因此，我们提出ASNet（图7），它有外观特征分支和周围特征分支，并使用一个lambda系数来平衡两个分支（公式1）。当物体的外观信息相似时， Lambda的设计（公式2）使网络分配更大的权重给周围信息分支。

本文插图
图7：Appearance-Surrounding Network (ASNet)

本文插图
ASNet显著地提升了关联的表现。图8的特征图的可视化显示了ASNet学会了从实例周围获取线索，而直接使用Zoom-out仍然专注于实例本身。

本文插图
图8：直接使用Zoom-out仍然专注于实例本身（只在中心存在一个高响应区域），但ASNet学会了从实例周围获取线索（在实例周围仍有多个高响应区域）

业界首个！大规模多相机通用物品场景数据集MessyTable( 二 )

推荐阅读

如果老婆外面有人了,作为男人该怎么做,如果老婆外面有人了怎么办-

2019春节档电影盘点：票房口碑双丰收科幻电影迎来大突破

炉石传说|炉石传说：通灵学院新卡助力，牧师竞技场胜率超过盗贼跃居第二

快科技|小米10青春版价格最高直降300元 6+128G售价1999元

安杰|《父母爱情》四处改动让原著面目全非，有的成败笔，有的成了经典

[育儿育儿哟]选对时间也是关键！不是谁都可以11周做，要想nt快速通过

『科学家』15岁女天才科学家轰动全球，却拒绝央视采访，只因怕被妈妈看到？

#龙口西第一坦克#西施黑纱美如画，王者荣耀：S19更新内容曝光！3位新英雄将上线

永劫无间手机能玩吗？

小毒眼|穆帅彻底无奈，孙兴慜90分钟隐形！他过去138天没进球

便秘怎么调理中医轻松治疗便秘的药膳方

人为啥很容易对其他人产生偏见，并持续很久

龙之家族|明年没有《龙之家族》第二季了，血龙狂舞需要更多的制作成本

尿毒症▲男性患上尿毒症的四大标志，提醒：要想养好肾脏，坚持做好四件事

[逗逗科趣]已达16G，手机要这么大内存有什么用？，安卓机的大内存进化史

晚上喝奶粉会胖吗

薯香祁门红茶,祁门红茶消费人群

喝茶养生你真的完全懂吗

长久来看，在北京买房还是租房更划算呢

太平鸟育儿经|或许是缺钙了，3个“隐藏危害”父母不能小，孩子睡觉有这些动作