机器之心|屏下摄像头效果不好？微软：上神经网络，还原更真实的可视会议效果( 二 )
本文插图
在计算机视觉这个热门方向里 ， U-Net 是比较有名的方法 。 通过深度学习算法 ， 我们获得了与原始图像几乎一致的重建图像：
直接拍摄：
本文插图
屏下摄像头处理前：
本文插图
深度学习算法处理后：
本文插图
通过将相机固定在显示器中 ， 并保持良好的图像质量 ， 我们为长期存在的视角问题找到了有效的解决方案 。
对话的位置安排
在对话过程中 ， 空间因素也非常重要 ， 但在目前的视频会议系统中往往是被忽略 。 参与者们彼此相对的距离是非语言交流中非常重要的方面 。
微软认为 ， 通过调整人物图像在显示其中的大小 ， 我们可以很大程度上模拟出说话人位置在虚拟环境中的效果 。
图像分割
要想这样做 ， 首先要找到人 ， 微软设计了卷积神经网络（CNN）结构来在图像中定位说话的人 。
本文插图
用于分割说话者和背景的神经网络结构 。
首先 ， 需要做语义分割以识别并定位图像中的人类 。
本文插图
接下来 ， 我们进行深度分割以找到最接近的人类 ， 指认他 / 她为说话者 。 这种相对简单的技术在单个发言人时工作效果很好 ， 如果存在多个发言人 ， 则需要应用更为复杂的方法 。
校正距离
在远程视图中确定了说话者之后 ， 我们就可以缩放传入的视频 ， 以便将远程会议参与者以更为合适的尺寸显示在本地屏幕上 。
本文插图
一种实现的方法是缩放整个画面 ， 再把人物定位于正中 。 但在微软的项目中 ， 研究人员尝试了效果更明显的方法：让人物独立于背景进行调整 。
将人物与背景分割调整可以带来一些好处 ， 比如隔离掉不希望显示的背景画面 ， 用背景区域直接显示 PPT 或视频等 。
【机器之心|屏下摄像头效果不好？微软：上神经网络，还原更真实的可视会议效果】经过取景效果的提升以及人物位置的缩放 ， 我们最终获得的远程会议效果距离真实情况前进了一大步 。
推荐阅读
- 摄像头|小米截胡中兴屏下摄像头技术，小米研发还是供应链技术？
- 第三|原创 小米发布第三代屏下相机技术，或将在Mix 4上首秀？
- 卢伟冰|首发只能我发我用才是实用？卢伟冰：中兴屏下镜头是小米去年水平
- |TCL 屏下摄像头手机专利曝光：机身背部含有明显突起
- 奇点使者|机器人“进化”出听觉！准确率高达80%，美国团队是背后操控者
- 天极网|TCL 屏下摄像头手机专利曝光：机身背部含有明显突起
- 互联网的放大镜|小米截胡中兴屏下摄像头技术，小米研发还是供应链技术？
- 新机发布|原创 小米发布第三代屏下相机技术，或将在Mix 4上首秀？
- 5G|智能机器人家族将服务服贸会
- 直观视界|小米将在明年量产屏下第三代摄像头手机，你期待吗？