|业界首个！大规模多相机通用物品场景数据集MessyTable( 二 )
本文插图
表1：MessyTable与类似多相机数据集的规模对比
4 MessyTable有哪些设计上的考量？
答：
我们主要有三个设计：场景难度等级、多相机的设置以及通用物品的选择 。
场景难度等级：我们将MessyTable的场景设计为三个难度等级 。 越困难的场景中有更多的遮挡、相似相同的物体以及更多物体处于共享视野之外 。 详见图3 。
本文插图
图3：a）三个难度等级的场景示例；b）更难场景有更多的实例；c）更难场景有更少的实例出现在共享视野；d）更难场景有更多相同物体的实例
多相机的设置：为了研究相机相对角度对关联表现的影响 ， 我们设置了9个相机以及567个不同的相机部署方案 ， 产生了2万多对相对相机位置 。 详见图4 。
本文插图
【|业界首个！大规模多相机通用物品场景数据集MessyTable】
图4：a）相机在空间中的均匀分布（投影至1号相机）；b）采集中的相机布置；c）相对相机角度的分布有极大的多样性
通用物品的选择：我们挑选了120种餐桌上常见的物体：60种超市商品、23种果蔬、13种面点以及24种餐具 ， 包括多种大小、颜色、纹理和材料 。 在图5中我们统计了这些物体的出现频率 ， 在图6中我们罗列了完整的物体清单 。
本文插图
图5：120种物体的出现频率
本文插图
图6：全物体清单
5 各种算法在MessyTable上的表现如何？
答：
我们测试了多种算法基线（见表2） 。 单应性投影（Homographic projection）并不意外地表现很差 ， 因为其关键的物体都在同一平面的假设在复杂场景中不成立；基于SIFT关键点提取的传统方法效果也不好 ， 因为无纹理的物体上关键点极少；基于深度学习的Patch-Matching的方法如MatchNet、 Deep-Compare及DeepDesc效果一般 ， 而基于Triplet结构的基线表现有较大幅度的提升 ， 但也受限于无法区分相似相同的物体；
本文插图
表2：各算法基线在MessyTable上的表现显示结合外观信息、周围信息、几何信息的算法取得最好的效果
我们发现除了外观信息 ， 周围信息非常重要 。 因此我们提出将检测框之外的信息包括进来 。 我们将这个操作称之为Zoom-out 。 但是我们发现直接在Triplet网络上加上Zoom-out效果不好 ， 于是我们观察人类的行为：一个人只有当物体本身的特征信息不足时 ， 才会从周边寻求线索 。 因此 ， 我们提出ASNet（图7） ， 它有外观特征分支和周围特征分支 ， 并使用一个lambda系数来平衡两个分支（公式1） 。 当物体的外观信息相似时 ， Lambda的设计（公式2）使网络分配更大的权重给周围信息分支 。
本文插图
图7：Appearance-Surrounding Network (ASNet)
本文插图
ASNet显著地提升了关联的表现 。 图8的特征图的可视化显示了ASNet学会了从实例周围获取线索 ， 而直接使用Zoom-out仍然专注于实例本身 。
推荐阅读
- 相机发烧|华为Mate40Pro概念图：这样的华为才够豪横，主镜头能媲美单反
- vivo手机|分离式镜头，可语音控制，vivo 的这款概念手机还可以做迷你相机
- |世界最快紫外线相机问世
- AMD|芯片行业再现大规模并购案？AMD或以超300亿美元收购赛灵思
- |安卓阵营汗颜：苹果要对iPhone 13相机升级 稳定支持45FPS 8K视频
- 快科技|尼康旗舰无反Z9相机规格曝光：4600万像素 支持8k视频
- 那年初夏|世界首富收养的中国女孩或继承450亿美元财产
- 智能手机|2020上半年智能手机相机CMOS营收份额：三星加豪威不敌索尼
- 行业互联网|三星是全球第二大移动端相机制造商 仅次于索尼
- 小米手机|小米11民间渲染图出炉：曲面屏设计还有方形相机模组