「摄像头与成像」长文详解RAW图的来龙去脉( 二 ) _RAW图

典型的Bayer矩阵如下所示：

文章插图

从上图来看，绿色明显多于红色和蓝色，这是因为BAYER矩阵实际上仿照了人眼对于绿色比较敏感的特点，绿色比红色和蓝色多会进一步降低噪声并可以让图像有更好的细节呈现。与全色Sensor采集相比， BAYER矩阵这种排列模式，可以有效减少到全色Sensor的1/3 ，这样大大减少了成本和面积。
关于视觉和颜色的关系读者有兴趣可以进一步google深入学习[2] 。将上述BAYER PATTER叠加到Sensor后的RAW图如下所示：

文章插图

文章插图

一般BAYER格式分为GBRG、GRBG、BGGR、RGGB四种模式。如下所示：

文章插图

上文提到采用Bayer Pattern之后，每个像素点需要对于丢弃的颜色分量进行“估计” ，以完成单像素点全部RGB颜色分量的构建，关于构建的算法称为Demosaicing算法。Demosaicing算法很多，但基本都是通过插值算法来实现每个像素点的RGB值计算。
Bayer格式插值有插值红蓝算法和插值绿值两种。可以了解[1]的博客插值算法讲解以及论文[2]的插值算法讲解。需要提及的是，插值算法容易导致图像出现失真，甚至出现摩尔纹。

文章插图

上面字幕就是由于demosaicing’算法导致的Aliasing（混叠）和artifacts（伪像），这些现象直接在Raw层级就大大降低了图像质量。故好的demosaicing’算法设计的目标是增加解析度、减少噪声、颜色准确度高、并能减少摩尔纹。
2 工业界对于Raw图检测方式和标准Raw图的检测实际上是对sensor的检测。从上面分析我们看到RAW图的诞生实际上是CMOS或CCD这些可以记录光线的半导体产生的记录数据。以CMOS为例，其主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带–电）和P（带+电）级的半导体，这就是典型的PN节，有兴趣的同学可以去查阅工程光学方面的内容，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。如下为一个典型的CMOS物理结构图像：

文章插图

从物理结构图发现，由于CMOS传感器集成度高，光电传感元件与电路之间距离很近，相互之间的光、电、磁干扰较为严重，导致产生的噪声对图象质量影响很大，同时由于各个模组厂工艺水平不一致，需要对于供应的摄像头的Raw图有一套验收标准。
需要区分的是， Raw图实际上分为两大类即Sensor Raw和手机Raw ，如下为两种Raw图的产生路径：

文章插图

文章插图

上图对于摄像头单纯的增加驱动点亮形成Sensor Raw ，而下图是将模组与手机主板组合在一起并驱动点亮形成手机Raw或者称为整机Raw 。两种Raw图实际上从产生机理来说都是一样的，区别就在于影响因素的不同。Sensor Raw是单纯的摄像头形成的Raw图，而从产品完整性角度来说，手机作为最终需要呈现给消费者的产品，需要考虑其他因素对于整体成像的影响，比如LENS、组装方式、电源、射频等对于图像质量的影响，故一般来说都是对整机的Raw图进行相应的测试，整机Raw测试总结如下表：

文章插图

效果质量评测需要相应的测试设备，包括光源、图卡以及测试软件等装备，同时需要制定各个公司自有的测试标准。光源一般采用爱色丽灯箱，爱色丽标准光源对色灯箱SpectraLight QC包括3种D光、荧光以及A光、H光等多种光源，是一款能在日光和其他照明条件下对大小物品进行精准色彩视觉评估的对色灯箱。除此之外， SpectraLight QC标准光源对色灯箱可帮助色彩作业人员减少因不良品和返工造成的人为错误和浪费，缩短上市时间，在提高整体产品质量等方面发挥重要作用。对于颜色、噪声、亮度等不同的测试项，一般的测试图卡选用爱色丽X-RITE ColorChecker Chart 24色卡等各种测试图卡。