PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析( 二 )


PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

邻接矩阵的更新为:
PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

损失函数为 Graph Loss , 即对正负链接边权的交叉熵损失函数:
PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

结果如下:
PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

【PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析】GNMOT
PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

论文标题:Graph Networks for Multiple Object Tracking
论文来源:WACV 2020
论文链接:http://openaccess.thecvf.com/content_WACV_2020/papers/Li_Graph_Networks_for_Multiple_Object_Tracking_WACV_2020_paper.pdf
代码链接:https://github.com/yinizhizhu/GNMOT
首先我们看看算法流程:
PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

可以看到 , GNMOT 的不同在于表观和运动部分分别采用了 GNN 网络 , 二者结合得到的是相似度矩阵 , 由此输入数据关联部分 。 关于 GNN 网络的更新流程 , 作者设计了 4 步:
PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

其中第一次边和节点的更新都是通过两层 FC 进行更新的 。 第三次的全局更新这里 , 作者引入了一个全局变量 u , 先计算所有节点的特征均值和边权均值 , 再通过两层 FC 进行更新 。 这里的 u 会在出现在所有更新过程中 , 作为一个调节量 。
PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

最后一次的边权更新则是在两层 FC 之后再加了一层 softmax 层 。
PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

MPN Tracker
PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

论文标题:Learning a Neural Solver for Multiple Object Tracking
论文来源:CVPR 2020
论文链接:https://arxiv.org/abs/1912.07515
代码链接:https://github.com/selflein/GraphNN-Multi-Object-Tracking
我之前也介绍过这篇文章 , 但是之前不懂 GNN , 所以只能做搬运工 , 现在学习了 GNN , 所以就再次分析一下 。 首先是图的构建 , 图节点由所有帧的所有目标构成 , 直接将观测信息作为节点 , 没有跟踪 , 只有关联 。
节点属性特征由训练得到的表观特征和几何特征构成 , 其中几何特征为位置和形状 。 并且定义表观特征距离用欧氏距离度量 , 几何特征距离用下面的公式度量:
PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析
本文插图

时间特征自然就是帧数 , 这几个特征通过一个 MLP 网络得到最终的特征表达 。
边的连接自然就是跨帧节点存在连接 , 而同一帧节点不存在连接 , 边权的设定就是上面的距离度量 。 也就是说 , 这相当于一个端到端的离线跟踪框架 。
PaperWeekly|论文盘点:基于图卷积GNN的多目标跟踪算法解析


推荐阅读