百度■百度大脑EasyDL零售版货架拼接技术探秘( 三 )
【百度■百度大脑EasyDL零售版货架拼接技术探秘】3.1、货架拼接算法
货架拼接算法本质上是属于图像拼接算法的范畴 ， 在图像拼接算法中 ， 目前主要有三种不同的方法：1)全局对齐方法 ， 以一个单应性矩阵来对齐图像 ， 通过求解相机参数对图像进行变换和融合 ， 输出拼接图像；2）空域变化绘制方法 ， 将图像划分为密集的网格 ， 每个网格都用一个单应性矩阵对齐 ， 然后对每个网格进行优化变形 ， 采用全局对齐类似的方法对网格图像进行拼接；3）缝合线主导方法 ， 以匹配图像之间的缝合线为主导 ， 不用严格去对齐整个重叠区域 ， 而是只对齐缝合线附近的区域 ， 通过缝合线实现图像的拼接 。
而对于货架拼接的场景来说 ， 拍摄图片的方式一般都是手机端平移拍摄 ， 存在拍摄的角度比较随意、拍摄距离近、需要拼接的图片数量比较多的问题 。 而在上述的图像拼接算法中 ， 全局对齐方法要求各次拍摄时相机的光心近乎重合 ， 即拍摄时相机只能做纯旋转运动 ， 对拍摄方式的要求很高 。 空域变化绘制方法和缝合线主导方法对匹配的特征内点的数量和质量要求较高 ， 而且需要调整更多的超参数 ， 计算量较大 ， 拼接速度慢 ， 无法用于大量图片的拼接任务 。 因此 ， 上述几种图像拼接的方法都无法很好地解决货架拼接场景存在的问题 ， 不能直接用于货架拼接 。
针对上述货架拼接场景存在的问题 ， 我们在全局对齐方法的基础上对拼接算法进行了优化 。 首先 ， 针对平移拍摄角度比较随意的问题 ， 在进行货架图像拼接之前 ， 我们对输入的货架图像进行水平矫正 ， 将所有图像都矫正到相同的拍摄视角下 ， 这样可以有效减小拍摄角度对拼接效果的影响 ， 拼接效果有了很大提升 。 其次 ， 当输入的货架图片数量较多时 ， 为了减小拼接难度 ， 提高拼接的效率 ， 我们自动对输入的货架图片进行分组 ， 将大量图片的单次拼接分解成少量图片的多次并行拼接 ， 可以有效降低拼接时间 。
在分组拼接的过程中 ， 我们采用与全局对齐类似的方法对单个分组的货架图片进行拼接 ， 通过货架图像之间的匹配、变换和融合 ， 得到每个分组的拼接图片 。 之后对多个分组的拼接图片进行合并 ， 输出整个货架的拼接图片和拼接参数 。 货架拼接算法的整体流程如下：
本文插图
3.2、SKU检测框合并去重
SKU检测框合并去重整体流程图：
本文插图
对于在相邻图片重叠部分的SKU ， 其在两张图片上都会被检测出来 ， 因此我们需要对这部分SKU进行合并和去重 ， 去除相同的SKU 。 具体步骤如下：
1）将每张图片上检测到的SKU检测框坐标根据货架拼接的参数进行变换 ， 将单张图片上的SKU检测框坐标转换成拼接图片上的SKU检测框坐标 。
2）对于当前图片上的每个SKU检测框 ， 当与其他某个SKU检测框之间有重叠部分 ， 且重叠部分的交并比（IOU）大于某一个阈值时 ， 判定这两个SKU检测框属于同一个检测框 。
3）根据这两个SKU检测框的坐标以及置信度进行合并去重 ， 得到最终的SKU检测框坐标 。
4）当对所有图片上的SKU检测框都进行合并去重后 ， 统计拼接图片上的每一个种类的SKU检测框的数量 ， 可以得到整个货架上SKU的种类以及数量 ， 输出整个货架上SKU的统计信息 。
以上为百度飞桨EasyDL零售版货架拼接服务架构和算法详解的全部内容 ， 为了全面助力快消品牌商对访销过程进行精细化管理 ， 围绕快速消费品企业在线下渠道中的销量逻辑 ， 百度大脑推出了基于AI技术的数字化访销解决方案 ， 在EasyDL零售版的基础上 ， 还提供翻拍识别、门脸识别和门店拜访行程规划等AI能力 ， 帮助品牌商有效提升一线业务人员人效 ， 最终实现销量的增长 。
推荐阅读
- 海外资金■爆棚！百度概念龙头被机构扎堆调研，销量翻倍式增长，这些调研股低估值
- 东方财富网百度概念龙头德赛西威被扎堆调研
- 「百度」再次确认消费者宁愿被百度垄断进行“竞价排名”，也不支持其它搜索引擎？
- 环球科学大观人类大脑开始退化？科学家警告：全球变暖或导致人类认知能力下降
- 数据宝平台这些调研股低估值，百度概念龙头被扎堆调研：销量翻倍式增长
- 南方PLUS百度百科对手来了！，头条百科测试版上线
- 老王体育视界TB高拉特连场破门，国足即将迎来最强大脑，郜林在新东家送助攻
- 前瞻产业研究院2020年中国人工智能行业市场规模及竞争格局分析：百度夺得数桂冠【组图】
- 风月无关马斯克宣布脑机接口公司Neuralink或在一年内完成人类大脑植入
- 「百度」易烊千玺不知道A啥意思，特意跑去百度搜索，看清答案：当场笑晕