[IT观察]华为P40,或将成为手机影像进化的里程碑( 二 )


恰好 , 我们在P40 Pro上看到了这一趋势 。

[IT观察]华为P40,或将成为手机影像进化的里程碑
本文插图

二、XD-Fusion及手机影像的核心变化
手机中引入多传感器和多镜头组合 , 带给了用户更便捷的体验 , 但也因此给手机厂商带来了很大的麻烦 , 不同的传感器受制不同的技术参数 , 在白平衡、色彩、细节和噪点抑制方面都很难达到统一和平衡 , 在实现技术改善画质的路径上 , 这也为手机拍照质量的提升创造了另外一种改进思路 。
其实更早的变化诞生于谷歌的Pixel3 , 尽管当时Pixel3采用的是和其它厂商大致一样的传感器 , 但在最终的画面质量上 , 远高于其它手机厂商的产品表现 , 这种差异其实来源于谷歌对手机拍照时算法优化 。
今天我们在华为P40 Pro上看到了这种技术的延续和进化 , 而这种进化 , 已经完全摆脱了行业流行的影像改进方式或者说技术演进路线 , 在深度学习的介入下 , P40 Pro影像表现出的价值 , 确实不在于其独点的主摄传感器iMX700上 , 更多的价值体现在了长期演进的图像算法 , 现在定义的XD Fusion 。
当然这不是说P40 Pro的硬件指标不好 , 事实上 , P40 Pro的影像模组由四个传感器组成 , 分别是深度传感器(ToF);5000万像素1/1.28英寸传感器 , f/1.9毫米 , 等效23毫米焦距主摄像头;4000万像素1/1.54英寸传感器 , f/1.8镜头 , 等效焦距18毫米的超广角模组;1200万像素1/3.56英寸传感器 , f/3.4 , 等效125毫米远摄镜头 , 其中主摄像头和远摄镜头都带有光学防抖功能 。
然而 , 优秀的硬件不是P40改变手机影像的根本 。 早在Mate 10时代 , 华为就在手机拍照上引入了AI算法 , 经过几代的演变 , 终于发展到了今天的XD Fusion , 虽然华为并没有公布这一算法体系的技术原理 , 但从华为对P40系列的介绍中 , 还是可以致看清XD Fusion的来龙去脉 。 “四摄一体 , 高清诠释动感”讲的是P40系列成像的基本原理 。 在此之各厂家的多摄像头 , 根据其焦距的不同 , 各自负责不同焦段的成像 , 而此次在华为P40上 , 由于XD Fusion的出现 , 改变了这一技术路线 。 在P40 Pro的拍照过程中 , 其实各个摄像头(广角、主摄、长焦以及TOF)都参与成像 , 以不同的色温、细节等参数记录影像 , 然而统一交给XD Fusion合成一张符合要求的照片 , 简单的说 , 在XD Fusion的助力下 , 华为P40 Pro把四个摄像模组合成了一个 。
要完成这种技术路线的变化 , 其门槛并不低 。 不同照片要在瞬间完成拍摄 , 并在算法体系中完成最终图像的输出 , 不仅要求XD Fusion的神经网络单元的算法要足够高效 , 同时无论是CPU还是NPU承担计算 , 都需要强劲的AI算力 , 恰好 , 在麒麟990中 , 华为集成了高效的AI处理单元NPU , 这给XD Fusion带来了非常大的施展空间 。
依靠麒麟990中集成的超强的NPU单元 , XD Fusion将负责环境渲染的广角图像、负责细节表达的长焦图像、负责深度的TOF图像 , 以及8色彩通道色温传感器信息等一系列信息输入XD Fusion的算法优化平台 , 在经过了多年验证了的神经网络处理单元 , 输出一张细节和环境表达都比较理想的照片 。
从实现的功能上讲 , XD Fusion和苹果的Deep Fusion有类似的地方 , 但苹果的Deep Fusion仅会在低光条件下起作用 , 而且仅支持广角镜头 。 XD Fusion则应用于每只镜头和每次拍摄 , 最终完成了多摄像头的协同化图像拍摄和处理 。
如果说 , 在XD Fusion出现之前 , 手机影像仍然遵循传统单反的拍照逻辑 , 那么在XD Fusion出现之后 , 手机摄像已完成了从传统单反拍照技术逻辑向以计算为主的新的手机影像逻辑的转变 。
XD Fusion的升级 , 不仅让各种不同的镜头协同进行高质量影像的拍摄 , 对华为的影像系统而言 , 由于这几年一直采用的是RYYB传感器 , 确实给手机拍照提高了进光量 , 但也带来了色彩不准的问题 , 在P40 Pro上 , 由于采用了8色彩色温传感器 , 以及在XD Fusion下的协同 , RYYB带的色温不准的问题基本上得到解决 。


推荐阅读