中年|高文院士：城市大脑的「痛点」与「突破」丨CCF-GAIR 2020( 五 )
要想把视频编码做得好 ， 算法要做得很精 ， 随着时间的推移 ， 我们可以用计算、带宽把这些东西一点点都去除掉 。
本文插图
当然 ， 这些年我们除了不停地优化算法之外 ， 我们还提出了一种背景建模的技术 ， 使得编码效率在原有的技术上又可以提高一倍 。
这里有很详细的一些数据测试作为依据 ， 而且这些东西都已经发表论文 ， 比如2014年我们在TIP发表了一篇论文 ， 里面有这样一些研究结果 。
本文插图
AVS2在2016年已经成为我国的标准 ， 同时它也是IEEE1857标准的第四部分 。 现在我们做AVS3的时候 ， 就是IEEE1857的第10部分 。
本文插图
本文插图
AVS标准是在2019年3月份第一版就发布了 ， H.266一直到今年7月份第一版才发布 ， 我们超前了H.266有一年三个月 ， 这是有史以来第一次 。
本文插图
AVS3这个标准去年3月份第一版发布以后 ， 去年9月份海思就把芯片做出来了 ， 在阿姆斯特丹的一次广电展上 ， 这款芯片一经面市 ， 引起了很大的轰动 。
本文插图
它可以支持AVS3、8K解码 ， 是120帧的 ， 这个芯片现在已经装配在很多4K、8K电视、机顶盒等等 。
第二个使能技术就是特征编码 ， 这是非常关键的一个使能技术 ， 这个技术里面它的标准有两部分核心的内容 ， 一部分叫CDVS ， 一部分叫CDVA ， 这两部分现在也都是国际标准MPEG-7里面的两部分 ， 一个是第13部分 ， 一个是第15部分 。
本文插图
为什么要做视觉特征的压缩呢？因为根据不同的特征 ， 提取出来的特征数据可能很大 ， 如果不压缩的话 ， 搞不好特征数据比图像本身都大 ， 所以要么你就传个图像过去 ， 要传特征的话数据太大 ， 所以就要对它进行特征压缩 。
怎么进行压缩？原来有不同的考虑 ， 如果是先把图像编码传过去 ， 再提取特征 ， 再进行识别 ， 和先把特征提取出来 ， 然后把特征传过去再识别 ， 这两个其实有一个剪刀差 ， 可能有时候识别率会先差百分之二三十 。
本文插图
就是说先压缩了以后 ， 可能有一些比较有用的特征丢了 ， 因为所谓编码压缩 ， 它是保留公共部分 ， 把一些非公共的、非常见的东西压缩掉了 ， 而非常见的部分恰恰可能是特征 ， 所以你把这个打磨掉以后 ， 它的识别率可能就下来了 ， 所以我们是先提特征 ， 再在云端技术识别这样一个技术策略 。
当然先提特征 ， 怎么样提的特征体量比较小 ， 我们初期是采用手工作业的策略 ， 当然手工特征怎么支持深度学习 ， 这是另外一个问题 ， 后面我们做了第一版以后 ， 又专门做了一个面向深度学习的编码压缩的框架 ， 这个主要是给小视频来做的 ， 有了这两个部分以后 ， 基本上可以应对图像特征编码和视频特征编码这两个需求 。
本文插图
图像特征编码就是CDVS ， 视频特征编码就是CDVA 。 CDVS是手工特征的 ， 里面使用的是一个类SIFT的特征集 ， SIFT大家都知道 ， 当你给的比特数据比较少的时候 ， 它就给一些比较宏观的特征 。
推荐阅读
- 中年|北斗“一张网”可实现全天候、高精度、自主可控服务
- 中年|Python编程语言有什么独特的优势呢?
- 中年|谈一谈我的十年机械工作经历
- 中年|弹无虚发的背后，国产弹药质量把关人，精密机床都要自叹不如
- 中年|宿迁深圳招商再结硕果，签约项目19个，协议总投资158亿元
- 中年|苹果：已终止Epic Games开发者账号
- 中年|圆满的结局！苹果微信之间不用再二选一，美国政府还是做出让步
- 中年|国家能源集团成功研发矿用卡车能耗制动开关预警装置
- 中年|什么是余压监控系统？余压监控系统如何接线和安装？一篇文章搞懂
- 中年|上线供应链金融、搭建标准质量体系，三全产业伙伴卓越质量联盟正式启动