江苏龙网

  1. 首页 > 人文 > >

小米|小米OV集体自研ISP的背后：真相可不简单( 二 )


图片来自三星
【小米|小米OV集体自研ISP的背后：真相可不简单】“相同的镜头和传感器经过不同的ISP，也会有不同的效果 。”爱芯科技ISP负责人、系统架构师张兴同时表示，“ISP的价值是提升图像质量 。但ISP是非标准化的芯片IP，既有客观的性能指标，比如摄像头的数量、分辨率帧率、带宽、功耗、延迟等 。也有比较难以完全客观化的图像评价指标，包括亮度指标（动态范围、对比度、曝光准确和速度等）、色彩相关指标（饱和度、色彩准确度、悦目程度等）、清晰度等 。从经验中来，关于图像主观和客观的测试，大概有40-60种甚至更多 。” 
爱芯科技是一家AI视觉芯片创业公司，AI ISP是其自研技术之一 。
虽然对于好画质很难有统一的标准，但亮度、色彩和清晰度也有一些客观指标，比如有标准的颜色模型衡量色差 。
“在客观指标达到一定程度之后，客户通常也会根据不同的需求去调整主观指标 。ISP的一个特点是有很多的可调参数，工程师可以调整设计好的ISP硬件参数以适应不同的环境 。一款好的通用ISP，要提供有足够灵活性和具备可扩展性 。”柴卫华指出 。
影像功能是消费者关注的重点，而ISP是实现差异化的关键，并且手机出货量巨大，自研芯片如果成功最终可以转化为整机的成本优势，这是手机巨头们选择自研ISP的初始动力，也是第一个理由 。
“华为能够用自研的NPU+ISP实现独具特色的AI拍照功能，相比之下，使用高通和联发科SoC的手机厂商发挥的空间会受到限制 。”耀途资本投资总监于光说，“由于硬件迭代的周期比较长，手机厂商的需求也不能被快速满足，特别是差异化的需求，自研ISP芯片实现硬件和软件的紧密结合是一个不错的选择 。”
张兴进一步解释，ISP一旦设计完成，可供调的参数大致就确定了，但是这些参数是有限的，如果想要提供调试出所有风格的可调参数，芯片面积又会很大到无法承受，这中间需要进行平衡 。
想要实现差异化的手机厂商们，在影像系统领域有了多年的积累，也就有了自研ISP的底气，这也是手机厂商选择自研ISP的第二个理由 。
研发ISP芯片的可行性是手机厂商坚定迈入自研芯片之路的关键，也是第三个理由 。亿智电子创始人兼CEO陈峰说：“由于ISP芯片更加专用，研发ISP在生态上的限制小很多 。研发ISP的主要挑战主要有三点：由于图像算法每年都有新的方法，技术在不断迭代；另外，图像的效果需要在满足图像测试客观指标之外，也需要在主观效果可调整性上下功夫；最后是需要适应不同的场景，ISP要能够做到自适应调整好各个环境下的参数 。”
芯片公司最宽的护城河就是生态，既然ISP芯片的生态限制相对较小，再加上手机厂商在算法以及对场景需求的理解上已经有丰富的经验，并且已经各有特色，特别是在场景适应方面，手机厂商都有丰富的经验 。
手机厂商研发ISP，还有适应未来视频摄影+AI功能竞争的长远价值，这是第四个理由 。
“手机厂商已经在拍照中享受到了AI算法带来的好处，包括超级夜景、AI美颜等功能，从趋势来看未来几年，AI拍照最火的几个功能会从拍照推向视频 。这就需要一颗高效的AI ISP芯片，以及将AI算法和传统ISP进行更好的结合 。”张兴认为 。
柴卫华也认为：“随着短视频的需求发展，手机也越来越重视视频拍摄的性能 。视频流对于ISP除了有画质的要求之外，非常重要的挑战就是实时性 。要实时处理4K甚至8K视频的海量数据，呈现完美的影像效果，处理器性能、算法优异、存储带宽和与系统延迟都是挑战 。”
AI是提升拍照和视频效果的关键 。
陈峰指出，目前AI与ISP结合主要有两种形式，一种是ISP For AI，这种结合方式主要用于检测或识别功能的产品，目标是保证检测或识别的准确率，比如人脸门禁以及辅助驾驶 。另一种是AI For ISP，这种结合是用AI替换ISP中的一个或多个图像增强算法，在包括HDR（高动态范围）、夜景降噪、超级分辨率等方面有较好的效果 。
“近几年，手机业界发现在目前AI算力的支持下，AI算法已经超越了传统ISP算法的效果，因此目前主流的趋势是用AI算法替代一个传统算法，或者将AI算法与传统算法结合 。”张兴进一步表示，“要充分发挥NPU算力与ISP结合的价值，实现真正意义上的AI ISP，需要在设计的最初就将两个IP结合起来设计 。如果是买来的IP，两者结合实现好的功能难度很大，即便实现，也会有大量的功耗和芯片面积的浪费 。”


推荐阅读


上一篇：苹果|什么情况下老iPhone要换电池 去哪换？

下一篇：公交车|公交司机疯狂飙车被刑拘：乘客不配合扫码