逐个|逐个关节平移骨骼运动

 逐个|逐个关节平移骨骼运动
文章图片
一个由计算机科学家组成的全球团队开发了一种新颖的深度学习框架,该框架可自动执行人体运动的精确转换,特别是考虑到各种各样的骨骼结构和关节。新框架将在ACM SIGGRAPH 2020上提出。
每个人体都是独特的,人体自然运动的方式取决于多种因素,包括身高,体重,大小和整体形状。一个由计算机科学家组成的全球团队开发了一种新颖的深度学习框架,该框架可自动执行人体运动的精确转换,特别是考虑到各种各样的骨骼结构和关节。
最终结果?一个无缝,更加灵活和通用的框架,用于在虚拟世界中复制人类动作。
研究人员团队来自AICFVE,北京电影学院,苏黎世联邦理工学院,耶路撒冷希伯来大学,北京大学和特拉维夫大学,并计划在SIGGRAPH 2020期间展示他们的工作。该会议实际上将于今年开始8月17日,聚集了领先的专业人士网络,他们从不同的角度研究计算机图形学和交互式技术。SIGGRAPH继续充当业界主要场所,展示具有前瞻性的想法和研究。现在可以注册虚拟会议。
在计算机动画和人机交互中,捕捉人类运动仍然是一个新兴且令人兴奋的领域。运动捕捉(捕捉)技术,尤其是在电影制作和视觉效果方面,使将动画角色或数字演员栩栩如生成为可能。Mocap系统通常要求表演者或演员佩戴一组标记物或传感器,以计算方式捕获其动作和3-D骨架姿势。运动捕捉的挑战仍然是能否在人体骨骼之间精确地传递运动(也称为“运动重新定向”)的能力,其中骨骼的结构可能会有所不同,具体取决于所涉及的骨骼和关节的数量。
迄今为止,mocap系统尚未以完全自动化的方式成功地重新定位具有不同结构的骨骼。通常在无法指定联合对应关系的位置引入错误。该团队着手解决这个特定问题,并证明该框架可以准确地复制运动重定向,而无需在变化的数据集之间指定明确的配对。
这项工作的资深作者,北京电影学院AICFVE研究员Kfir Aberman分享道:“我们的开发对于使用来自多个mocap数据集的数据至关重要,这些数据是在单个模型中用不同系统捕获的。” “这可以训练更强大的,由数据驱动的模型,这些模型对于各种运动处理任务均不可设置。”
团队的新运动处理框架包含专门为运动数据设计的特殊运算符。该框架是通用的,可以用于各种运动处理任务。尤其是,研究人员利用其特殊的性能解决了Mocap世界中的实际问题,这使他们的新方法得到了广泛的应用。
耶路撒冷希伯来大学计算机科学与工程学院的合著者兼教授达尼·利辛斯基(Dani Lischinski)表示:“我们的方法能够将运动编码为抽象的,与骨骼无关的潜在空间,这让我感到特别兴奋,”说过。“未来工作的一个有趣的方向是使运动能够在根本不同的字符(例如两足动物和四足动物)之间传递。”
【 逐个|逐个关节平移骨骼运动】除了Aberman和Lischinski之外,“支持深度运动重定向的具有骨骼意识的网络”的合作者还包括李佩卓,Olga Sorkine-Hornung,Daniel Cohen-Or和Baobao Chen。该团队的论文和视频可在此处和此处找到。


    推荐阅读