手机扫一扫，现实物体隔空「复制粘贴」进电脑！北大校友AI新研究( 二 )
第二步：设置外部显著性目标检测服务
如上所述 ， 目前 ， 必须使用BASNet-HTTP封装器(需要CUDA GPU)作为外部HTTP服务 ， 部署BASNet模型 。
将需要部署的服务URL来配置本地服务器 。 如果在本地服务的同一台计算机上运行BASNet ， 请确保配置不同的端口 。
第三步：配置并运行本地服务器
这一步的详细文档 ， 在GitHub项目中的/server文件夹中 ， 包含“安装”和“运行”两个步骤 。
安装代码如下：
virtualenv -p python3.7 venv source venv/bin/activate pip install -r requirements.txt运行代码如下：
python src/main.py —basnet_service_ip=”http://X.X.X.X“ —basnet_service_host=”basnet-http.default.example.com” —photoshop_password 123456其中 ， BASNET_SERVICE_HOST是可选的 ， 只有在使用Knative / Cloud Run等入口网关在平台上部署服务时才需要 。
以及 ， 用Photoshop远程连接密码替换123456 。
第四步：配置并运行移动App
安装代码如下：
npm install然后更新component/Server.tsx中的IP地址 ， 使其指向运行本地服务器的计算机IP：
3: const URL = “http://192.168.1.29:8080“;运行代码如下：
npm startOK！开启“复制粘贴”新世界 ， 就是这么简单！
但如果你希望“知其然更知其所以然” ， 别眨眼 ， 接着往下看 。
如何做到隔空「复制粘贴」？
这个神奇的AR黑科技背后的主要技术 ， 刚开始采用的是一个叫做BASNet的显著目标检测方法 。
本文插图
这篇研究入围了CVPR 2019 ， 而且论文一作还是位华人小哥哥——秦雪彬 ， 已经于今年2月在加拿大阿尔伯塔大学拿到了博士学位 ， 硕士就读于北京大学 。
本文插图
BASNet的核心框架如下图所示 ， 主要由2个模块组成：
本文插图
第一个模块是预测模块 ， 这是一个类似于U-Net的密集监督的Encoder-Decoder网络 ， 主要功能是从输入图像中学习预测saliency map 。
第二个模块是多尺度残差细化模块(RRM) ， 主要功能是通过学习残差来细化预测模块得到的Saliency map ， 与groun-truth之间的残差 ， 从而细化出预测模块的Saliency map 。
而最近 ， 这位设计师小哥哥在此基础上 ， 针对背景移除任务 ， 采用了更新的方法 。
同样是来自秦雪彬团队 ， 被Pattern Recognition 2020接收 ， 这个方法叫做U2-Net ， 其框架如下图所示：
本文插图
还与其它20个SOTA方法分别做了定量和定性比较实验 ， 在结果上都取得了不错的结果 。
本文插图
本文插图
在下面的定性实验中 ， 也可以比较明显的看到 ， 该方法所提取出来的目标 ， 更加细粒度和精确 。
本文插图
那么 ， 北大校友的新方法 ， 又是如何被法国设计师Cyril Diagne搞成黑科技应用的？
不想当程序员的设计师 ， 不是一个好艺术家
原因无他 ， Cyril Diagne就是这样一个懂程序、搞设计 ， 关注前沿研究进展的艺术家呀 。
推荐阅读
- 科技圈|4299元起iPhone 11跌至谷底价，华为小米等国产手机真难过
- 小墨看科技|手机游戏蓝牙耳机哪款好？618游戏蓝牙耳机购买清单
- 潍坊晚报|手机使用四年，凌晨自燃吓坏一家人
- LAO哥测评|一部苹果手机，能够让国人狂乱到什么程度？
- 大嘴猴侃科技|苹果公司突然宣布！iPhone最高直降2000元，国产手机面临严峻考验
- 黑猫评测|明明都是国产手机，为什么有些人更偏爱华为，却不喜欢小米？
- 手机之家|暗光场景同价位领先 荣耀 X10 拍照体验
- 手机之家|亮点远不止微云台 5G/ 轻薄 / 充电快的 vivo X50 Pro 体验
- 手机之家网|十代酷睿i3-10100开卖 1099元 无“F”不带核显版本
- 手机之家网|杨柘加入小米任首席营销官 小米或加强高端品牌形象建设