江苏龙网

  1. 首页 > 资讯 > >

私生饭手机拍照自动抠图、秒变PS素材：华人团队技术实现一键“剪切现实”( 二 )


私生饭手机拍照自动抠图、秒变PS素材：华人团队技术实现一键“剪切现实”
本文插图
秦的团队还推出了一个性能更加强大的模型 U^2-Net ， 对于复杂物体边缘的识别准确度再上新台阶 。 这篇新论文目前已经被《模式识别》2020年收录 。

私生饭手机拍照自动抠图、秒变PS素材：华人团队技术实现一键“剪切现实”
本文插图
现在我们知道了 ， AR Cut & Paste 是借助了 BASNet 这一深度神经网络实现了较为准确的抠图 。 接下来 ， 开发者 Diagne 又是怎么实现将抠出来的图片直接隔空从手机“放置”到电脑上 ， 而且准确放在手机瞄准位置的呢？
这里 ， Diagne 用了自己开发的一个小的玩意 ScreenPoint ， 简单来说就是在一张照片（手机传回的画面）上确定一个锚点 ， 然后在对应的另一张照片（电脑的画面）上找到锚点对应的坐标 。
这个小工具 ， 利用的是 OpenCV 的 SIFT 功能 。

目前 ， AR Cut & Paste 在剪切阶段的延迟大约为2.5秒 ， 粘贴的延迟约为4秒 。 Diagne 也在 Twitter 上表示 ， 还有很多方法能够进一步降低延迟 ， 不过他并没有花更多时间做核心功能之外的优化 。
技术实现的逻辑听上去并没有特别复杂 ， 不过感谢强大的 BASNet ， 加上 Diagne 的脑洞 ， AR Cut & Paste 的实际使用效果还是很神奇的——特别是对于那些每天跟套索打交道的 Photoshop 用户来说……
AR Cut & Paste 上手配置
看到这里 ， 相信你也已经按耐不住 ， 想要自己上手玩一玩这套 AR Cut & Paste 了 。
Diagne 在自己的 GitHub 提供了你需要的全部代码和一份简单的使用说明书 。 点击文章下方的“阅读原文”即可看到 。

总的来说 ， AR Cut & Paste 有三个独立的模块 ， 需要配合使用：手机 app、安装在电脑上的本地服务器 ， 以及打包好的 BASNet HTTP 服务 。
手机是你的交互工具；本地服务器是手机和 Photoshop 之间数据传输的界面；物体检测、边界划定和背景移除的操作 ， 发生在 BASNet HTTP 服务上 。
在你的本地配置 AR Cut & Paste 需要一台手机 ， 一台 GPU 支持 CUDA 的电脑；配置过程需要你有一定的 React Native 移动应用开发支持 ， 电脑上有 Python 或 Docker 开发环境等 。
配置 Photoshop 插件远程连接 进入 Photoshop 的偏好设置 (Preference) > 插件 (Plug-ins) ， 打开远程连接 (Remote Connection) ， 并设置一个密码 。
然后在 GitHub Repo 里找到 cyrildiagne/ar-cutpaste/server/src/ps.py ， 确认你的 Photoshop 设置和这个文件里是一样的 ， 否则粘贴出来的会是一个空白的图层 。
打包 BASNet HTTP 服务
先克隆 cyrildiagne/basnet-http：
git clone https://github.com/cyrildiagne/BASNet-http.git
进入这个 repo ， 再把阿尔伯塔大学团队的 BASNet 克隆进去 。
git clone https://github.com/NathanUA/BASNet
然后下载训练好的 BASNet 模型文件 basnet.pth（shorturl.at/FVZ19 ， 下载地址也可以在 BASNet HTTP 打包工具的 GitHub 页面上找到） ， 放到 BASNet/saved_models/basnet_bsi/ 路径下 。
配置本地服务器 然后就可以开始构建服务了 ， 可以在本地使用 Python 运行环境 virtualenv（需要Python v3.6 或以上） ， 也可以使用 Docker ， 具体操作方法在 GitHub 上都有 。
然后就可以运行了服务器了 ， 记得要输入打包好的 BASNet HTTP 服务的IP地址 (X.X.X.X) ， 和之前第一步在 Photoshop 里设定的远程连接密码 (123456)：
python src/main.py \--basnet_service_ip="http://X.X.X.X" \--basnet_service_host="basnet-http.default.example.com" \--photoshop_password 123456


推荐阅读


上一篇：14个省份，各奖3亿！14个省份，各奖3亿！这项工作它们完成到位！

下一篇：北京中国农业银行等首批十余家银行进驻大兴机场自贸区