华为|原创 从硬件提升到软硬协同，从华为P40 Pro+看手机影像的系统进化( 三 )
这就是华为此次推出的XD Fusion的核心逻辑 。
事实上 ， 华为在计算摄影领域耕耘多年 ， XD Fusion的推出 ， 正是基于计算摄影的理论体系 ， 重新对手机拍照进行了革命性的变革 。
那么深度学习对手机影像的影响有多大？这在很大程度上接近于一门玄学 ， 很难简单的解释明白 。 正好华为在P40 Pro+上提供了RAW格式输出 ， 我们可以通过对比RAW格式文件与最后输出文件来对比深度学习算法对手机影像的影响 。
【华为|原创 从硬件提升到软硬协同，从华为P40 Pro+看手机影像的系统进化】
本文插图
本文插图
第一张为原码文件 ， 第二张为同时拍摄的未开AI功能的jpg文件 ， 无论从色彩、白平衡还是放大后的细节看 ， RAW格式未经处理的手机照片 ， 基本属于不可用状态 ， 特别是放大后细节中的噪点非常多 。 而由XD Fusion输出的照片 ， 无论从锐度、色彩还原度、细节描写、噪点抑制等方面看 ， 都是一张上佳的照片 。 如果我们可以把RAW格式输出文件看成传统单反的技术路线 ， 而第二张就是计算摄影的技术结果 。
在华为XD Fusion系统中 ， 我们大致可以将其分为三个阶段 ， 第一是多镜头的信号输入 ， 第二阶段是计算机视觉的语义识别 ， 而第三个阶段将是基于神经网络单元的深度学习 。
在一般的手机拍照中 ， 摄像头的拍照 ， 基本上就是画面的起点也是终点 ， 但在华为XD Fusion系统中 ， 摄像头的拍照 ， 只是一个画面输出的起点 。 在P40 Pro之前的华为系统中 ， 虽然加入了TOF深度感知摄像头可以辅助提升成像质量 ， 但各镜头之间是相互独立完成不同焦段的拍摄 ， 这也是行业通行的技术方式 。 而这次XD Fusion ， 不仅实现了让TOF镜头参与到了其它三只摄像头的成像之中 ， 更重要的是让四枚摄像头同时工作 ， 并根据不同镜头的成像特征 ， 形成了多信号输出的图像输入单元 ， 在这点上 ， 华为在计算摄影上 ， 远比谷歌、苹果的系统更为彻底 ， 并向计算摄影方向发展方向迈出了革命性的一步 。
多信号源的协同 ， 为后面计算机视觉识别和语义分析提供了更多的计算维度 ， 也为最终照片输出更能准确还原提供了参考标准 。
有了多镜头不同维度的信号输入之后 ， XD Fusion系统的计算机视觉单元开始进行不同画面的语义识别 ， 并通过设定标准进行不同场景的识别和主要特征的识别 ， 比如说背景中的草原、蓝天、树林 ， 以及拍照主体的人物、动物或静物花卉 ， 并重新结构化背景信息、主体及主体形势等一系列画面要素 。
经过重新结构化的画面信息 ， 在神经网络处理单元会重新组合 ， 并根据已经经过大量数据训练过的算法模型进行进一步的画面优化处理 ， 不同画面构成的归一化处理 ， 包括准确的白平衡、锐度、色彩饱和度、以及局部（比如脸部）的个性化特征处理 。 这是一种像素级的基于深度学习的处理 ， 画面质量与输入的信号有了天壤之别 。
要完成这一流程的数据输出、分析及处理 ， 算法模型是核心 ， 但要在拍摄的一瞬间输出结果 ， 算力也就成为了影响效率的关键 。 得益于麒麟990芯片独立的NPU单元的超强计算能力 ， 让XD Fusion复杂的计算体系达到了与普通手机一样快的拍照效率 。
XD Fusion的出现 ， 不仅让手机多摄像头发挥出了极大的效能 ， 而且通过画面信息的重新结构和像素化的处理 ， 让手机拍照真正变成了计算摄影 。
从产业发展来看 ， 手机作为个人手持计算终端 ， 体积不可能再大 ， 在目前6英寸左右的屏幕和8mm左右的厚度中 ， 纯粹的堆料在手机摄影方面并不能真正提高画质 ， 手机摄影需要从技术体系解决在有限的空间里如何最大可能的发挥硬件性能的技术方案 。
推荐阅读
- 互联网|5G商用一周年，华为云向互联网企业大抛绣球
- 新智元|英国5G建设病急乱投医，这两家日本企业或成华为接盘侠
- 苹果手机,蒂姆·库克|原创 库克终发飙，iPhone11一夜沦为“新低价”，网友：还是盼到了！
- 情感|华为今天如此成功，看一下任正非的岳父是谁，你就知道为什么
- 行业互联网,云计算|赛伯乐携手华为（重庆）人工智能创新中心聚焦AI前沿，助力企业数字化转型
- |反击开始！华为正式起诉美三巨头，网友：一挑三
- 华为手机|泪奔！等等党的心酸，为什么有些手机它偏不降价？
- 新机发布,雷军|原创 雷军向大众征求旗舰机必备功能，米粉：我可以不用，你不能没有！
- 折叠屏手机|三星“坑了”华为和小米？七年坚持或正式放弃，全新设计回归传统
- 行业互联网|英媒：替换华为设备成本将由英国消费者埋单