江苏龙网

  1. 首页 > 资讯 > 科技 > >

|业界首个！大规模多相机通用物品场景数据集MessyTable( 三 )


本文插图

图8：直接使用Zoom-out仍然专注于实例本身（只在中心存在一个高响应区域） ， 但ASNet学会了从实例周围获取线索（在实例周围仍有多个高响应区域）
我们同时还发现在ASNet的基础上增加一个基于对极几何的软约束可以继续提升表现 ， 证明几何信息是和外观信息、周围信息相得益彰的 。
6
多相机关联还没有解决的问题和下一步的研究方向有什么?
答：
需要指出的是 ， 尽管同时使用了外观信息、周围信息和特征信息 ， 目前的算法在复杂场景和大相机角度差的情况下表现仍不尽人意 。
在图9中 ， 我们比较了四个较强算法在不同相机角度差的情况的表现 ， 发现三个衡量指标都在相机角度差变大的情况下迅速变差 。
|业界首个！大规模多相机通用物品场景数据集MessyTable
本文插图

图9：相机角度差越大 ， 关联的表现越差；衡量指标：a）AP；b）FPR-95；c）IPAA-80
在表3中 ， 我们测试了模型在三个难度的子数据集上的表现 。 越难的子集有的遮挡、相同的物体、更少的出现在共享视野的物体 ， 因此模型的表现也更差 。
|业界首个！大规模多相机通用物品场景数据集MessyTable
本文插图

表3：场景越困难 ， 关联的表现较差
更多的失败例子（图10）包括当相同的物体被摆放在一起或者堆叠起来 ， 造成相似的周围信息以及几何软约束的惩罚 。
|业界首个！大规模多相机通用物品场景数据集MessyTable
本文插图

图10：更多的失败例子
以上的这些目前算法的不足给我们提出了三个重要的研究方向：
1） 如何提取更强的外观、周围以及几何信息？
2） 如果更好地融合这些信息？
3） 有没有其它信息我们可以利用？
7 我可以怎么使用 MessyTable？
答：
MessyTable有两个主要的作用：作为一个高指向性的基线和作为一个实例关联的预训练源 。 对于前者 ， 在MessyTable上表现更好的算法 ， 在其它多相机数据集上也有更好的表现；对于后者 ， 在MessyTable上预训练的模型在其它数据集上的表现比在ImageNet上预训练的表现更好 。 值得注意的是 ， 我们测试的其它三个数据集甚至包括车辆、行人等与MessyTable中的通用物品差别较大的类别 。 详见表4 。
|业界首个！大规模多相机通用物品场景数据集MessyTable
本文插图

表4：MessyTable可以作为一个高指向性的基线和作为一个实例关联的预训练源
结语：
我们希望MessyTable在实例关联这个领域中促进新颖算法的研究以及发掘新的问题 。 更多的细节请见我们的项目主页 。


推荐阅读


上一篇：相机发烧|感受国产夜神的魅力——铭匠M50 f/0.95

下一篇：|你的二次元老婆，被AI变成了暗黑系