江苏龙网

  1. 首页 > 人文 > >

Bash@任你旋转跳跃不停歇，也能完美呈现3D姿态估计 | 代码开源( 二 )


在H36M数据集上 ， 也得到相对接近于目前最优值的结果 。
除此之外 ， 表1中还涉及了一个加速度误差(acceleration error) ， 从数值上可以看出 ， VIBE与基于帧的HMR方法相比 ， 误差是较小的 ， 也就是结果更加平滑 。
但与基于时间的模型相比 ， 加速度误差却比较高 ， 但是这里却存在一个问题 ， 基于时间的模型 ， 采用了较为“激进”的平滑处理方式 ， 会使得快速运动视频的准确性降低 ， 如下图所示 。
Bash@任你旋转跳跃不停歇，也能完美呈现3D姿态估计 | 代码开源
本文插图
△上：VIBE；下：基于时间的HMR 。
VIBE模型能够恢复正确的全局旋转 ， 这是前人提出的方法中存在的一个比较严重的问题 ， 这也是在表1中MPJPE和PVE指标比较好的原因 。
Bash@任你旋转跳跃不停歇，也能完美呈现3D姿态估计 | 代码开源
本文插图
此外 ， 实验还证明 ， 有和没有运动鉴别器DM ， 对模型的性能也具有较大的影响 ， 如表2所示 。
Bash@任你旋转跳跃不停歇，也能完美呈现3D姿态估计 | 代码开源
本文插图
△表2：运动鉴别器DM的消融实验
还尝试了几种自注意力的配置 ， 将VIBE方法与静态合并方法进行了比较 ， 结果如表3所示 。
Bash@任你旋转跳跃不停歇，也能完美呈现3D姿态估计 | 代码开源
本文插图
△表3：自注意力的消融实验
GitHub已开源 ， 快速上手玩Demo 除了吊炸天的实验效果 ， 另一个令人激动的消息是 ， 论文代码已开源！
研究人员在实现过程中采用的是Pytorch ， 实验设备需要同时支持 CPU 和 GPU 的推理 ， 在RTX2080Ti上速度高达30帧/秒 ， 以及是在3DPW 和 MPI-INF-3DHP 数据集上实现 SOTA 结果 。
Bash@任你旋转跳跃不停歇，也能完美呈现3D姿态估计 | 代码开源
本文插图
准备工作也很简单 ， 首先要克隆这个项目 ， 只需输入：
git clone https://github.com/mkocabas/VIBE.git 使用 pip 或 conda 安装需求：
# pipbash install_pip.sh# condabash install_conda.sh 接下来在这个GitHub项目中 ， 下载好数据集 ， 可以运行：
bash prepare_data.sh 然后就可以运行已经准备好的demo代码了(可以在任意视频上运行VIBE)：
# Run on a local videopython demo.py --vid_file sample_video.mp4 --output_folder output/ --display# Run on a YouTube videopython demo.py --vid_file https://www.youtube.com/watch?v=wPZP8Bwxplo --output_folder output/ --display 当然 ， 如果你没有上述实验所需要的设备、环境 ， 可以采用Google Colab 。 同样 ， 研究人员也为你准备好了Colab的“快速通道” ， 来运行demo ， 可戳下方链接：
https://colab.research.google.com/drive/1dFfwxZ52MN86FA6uFNypMEdFShd2euQA
那么 ， 赶紧上手来试试吧！
传送门 论文地址：https://arxiv.org/abs/1912.05656
GitHub地址：https://github.com/mkocabas/VIBE
AMASS数据集：https://amass.is.tue.mpg.de/
— 完 —
量子位 QbitAI · ***签约
关注我们 ， 第一时间获知前沿科技动态


推荐阅读


上一篇：##快来抄作业 本周热销游戏本排名TOP5

下一篇：『董明珠自媒体』“在疫情面前，他们很了不起 ”