江苏龙网

  1. 首页 > 人文 > >

4K|4K葫芦娃重生：秘密就藏在这里( 三 )


超分辨率 (Super-Resolution，简称超分）在视觉处理方面的广泛应用，使其有了非常成熟的解决方案 。火山引擎的技术创新主要体现在时域建模和自适应处理 。前者可自动生成恢复出额外的细节，后者可对视频或图像进行“区域分片”处理，以确保不同视频/图像区域的风格和美感 。
智能插帧：使用深度学习算法，将低帧率视频通过插帧的方式变为高帧率视频，让视频变得更顺滑流畅 。
老动画片容易出现卡顿、流畅度不佳的现象，主要是因为影片绘画帧数少 。智能插帧技术的功效就是通过分析前后帧的动态和内容，生成中间帧，进而提升视频帧率和流畅度 。关于动画纹理少的问题，现阶段的解决方案难以判断前后帧对应的运动块，针对这个问题，火山引擎采用块光流进行优化，提高了插帧的精准度 。
视频降噪：消除胶片存放以及转录过程中带来的各种噪点以及闪烁等缺陷 。
常见的视频降噪算法在消除噪声的同时，容易对纹理区域有破坏，火山引擎方案通过对纹理、噪声的智能分析，在去噪的同时尽可能地保留视频原有纹理不受影响 。
划痕修复：对视频中胶片的划痕损伤进行识别和修复 。
对于常见的胶片划痕，考虑到修复难度和效果，火山引擎采用了“算法+人工”相结合的解决方案 。从现有研究来看，如果使用纯AI技术进行修复，密集且微小的划痕很难被全部发现，也容易出现“误伤”的情况；相对来说，人工修复的效果会更好，但它需要更多的时间和资金，效率反而降低了 。火山引擎的方案是先使用算法初步修复小划痕，人工标注算法再“查漏补缺”，修补大的划痕，实验证明，算法对通过人工标注的结果进行再修复，所达到的效率和效果都是最优的，而这一点也恰好体现了火山引擎“虽有先进音视频技术，却不唯技术”的理念 。
锯齿修复：针对影片下采样时出现的锯齿线条和频谱混淆，有针对性设计了一个独立算法 。
锯齿修复所要解决的关键问题是锯齿定位 。与划痕不同，并不是每一张图像都会出现锯齿线条 。火山引擎多媒体实验室团队经过多次尝试和实验，发现锯齿效应通常是由数字化扫描不精准引入的，目前业界的修复算法和工具都没有相对应的解决方案 。所以火山引擎针对性地设计了一套优化算法，使锯齿的修复效果得到了很大的改善 。
4K|4K葫芦娃重生：秘密就藏在这里
文章图片
SDR To HDR：针对质量较低的视频，从色彩、对比度、细节及画面层次等维度进行分析，对低质问题进行自适应处理，提高源视频的质量和转码后视频质量 。
无论是产业界，还是学术界，从现有的SDR视频中恢复更高动态范围和色彩广度的HDR视频的需求一直在持续增长 。一般来讲，如果标准动态范围没有太大提升，很可能就会出现画面像素过多，质量不高，且无法呈现更丰富的层次和细节等影响 。与SDR相比，高动态范围（High Dynamic Range，HDR）可以提供更丰富的细节，更宽广的色域和更自然的色彩过渡，呈现更高品质的的图像 。
火山引擎，与生俱来的视频能力
【4K|4K葫芦娃重生：秘密就藏在这里】火山引擎是字节跳动旗下的企业级技术服务平台，围绕音视频技术搭建了视频点播、veImageX、企业直播、视频直播、实时音视频、云编辑、智能处理于一体的视频云产品矩阵 。视频云属于火山引擎中台层面的服务，其最大的优势是拥有抖音、西瓜视频、今日头条等实战场地，能够在丰富的场景下不断迭代、打磨音视频能力 。
火山引擎视频云产品负责人Keith此前在接受媒体采访时表示，“我们会在抖音和西瓜场景中，不断去探索视频播放体验的极致，同时解决这个过程中出现的大规模问题 。而这些问题的解决方案，我们会把它沉淀成方法论，然后融合到火山引擎视频云的产品中去 。”
所有音视频产品发展到一定规模后，其突破点一定是“细节”的处理，早在2016年，字节跳动就上线了大规模测试平台A/B测试，为字节跳动算法和产品提供检验和优化的平台 。A/B测试连接抖音、西瓜视频等全线业务后，每天开展上万场测试，单日新增实验数量最高超过了1500个，覆盖500多个大大小小的业务 。此次4K修复技术用到的智能插帧、智能超分、智能降噪等算法已经过了A/B测试及多平台多场景的千锤百炼 。
标准被誉为高科技产业王冠上的宝石 。谁在标准中拥有更多专利，在产业中就拥有更大的话语权与主动权 。正因为如此，各大科技巨头都高度重视标准制定，将相关专利技术视为核心资产 。


推荐阅读


上一篇：企业|上市猪企集体血亏 谁也逃不过猪周期

下一篇：院士|何祚庥院士：杨振宁和翁帆是段千载难逢的良缘 可遇不可求