清华大数据论坛：快手AI技术副总裁郑文分享深度学习应用( 五 ) 中新网4月28

郑文表示，人像分割技术能把人像和背景区分开，分别对人像和背景做特效，或者进行背景替换，还可以做人像虚化；头发分割，可以把头发区域分割出来，做染发效果。天空分割技术则可以让天空区域变得更加超现实、更加梦幻。人体姿态估计则是预测人的关节点位置，利用这一技术，可以给人体肢体上加特效，或者修改人的体型，做美体瘦身功能。此外，还能重构出人体的三维信息，用于控制卡通形象。

手势检测是把各种特定的不同手形检测出来，实现“控雨”等玩法。另外还有 AR 相机姿态估计，背后是快手自研的 3D 引擎，并在其基础上添加编辑器模块、渲染模块、肢体模块、声音模块等，来实现模型精致而自然的光感、材质。

在音视频方面，应用了很多智能算法，比如需要视频尽可能清晰，但同时也要求传输流畅，这就需要针对视频复杂度做一些自适应优化。另外，也会对图像进行分析，比如视频里面人脸的区域往往对大家的观感影响最大，会把人脸的区域检测出来，将码率做得更高，使得整体观感获得很大的提升。