DeepTech深科技 60FPS,?索尼推出全球首款AI图像传感器,1200万像素,支持4K

索尼近日宣布即将推出两款AI图像传感器 , 代号IMX500和IMX501 , 号称具备智能视觉的“全球首款AI图像传感器” 。 其中IMX500是无封装版 , IMX501是封装版 , 没有其他性能差异 。
AI图像传感器兼具运算能力和内存 , 能够在没有额外硬件辅助的情况下执行机器学习驱动的计算机视觉任务 , 使得很多依赖机器学习算法的图像处理技术能够在本地运行 , 衍生出更简化、高效和安全的解决方案 。
索尼业务与创新副总裁马克·汉森(MarkHanson)认为 , 相比将数据发送到云端的解决方案 , IMX500的应用潜力巨大 , 成本效益更高 , 尤其是在未来的边缘计算领域 。 它支持1200万像素图像 , 以每秒60帧的速度捕获4K视频 , 或者不捕获任何图像 , 仅提供所见内容的元数据 。
DeepTech深科技 60FPS,?索尼推出全球首款AI图像传感器,1200万像素,支持4K
文章图片
图|IMX500(小)和IMX501(大)(来源:索尼)
不过 , 第一代AI图像传感器可能不会出现在智能手机或平板电脑等消费者产品中 。 索尼的首批目标是零售商和工业客户 , 比如亚马逊Go无人商店 , 其他应用场景包括访客统计、交通状况和人流量热图绘制等 。
以亚马逊无人商店为例 , 每家商店中都装有上百个AI技术加持的摄像头 , 用来追踪顾客的行动轨迹 , 捕捉他们在货架上的购买行为 , 最终创建购物清单完成结账 。 有数据分析显示 , 对运算能力和数据处理的高要求推高了硬件成本 , 并减缓了Go商店的推广速度 。
汉森指出 , “建造这种商店需要上百个摄像头 , 每天要生成和处理PB级别的数据(1PB等于100万GB) , 如果我们可以把运算能力缩小并放在每一块芯片上 , 就可以实现更多有趣的事情 。 ”
DeepTech深科技 60FPS,?索尼推出全球首款AI图像传感器,1200万像素,支持4K
文章图片
【DeepTech深科技 60FPS,?索尼推出全球首款AI图像传感器,1200万像素,支持4K】图|IMX500和IMX501的详细参数(来源:索尼)
相比之下 , 谷歌Clips相机和大疆精灵4无人机所使用的Movidius计算机视觉芯片(2016年被英特尔收购) , 可能需要数百毫秒以上的处理时间 , 相差30多倍 。
这一点在工业自动化协作机器人上至关重要 。 它们通常会在车间与工人搭配合作 , 出于安全因素考虑 , 驱动它们的计算机视觉芯片需要具备快速检测人类目标的能力 。 这样可以在发生意外时快速停止工作 , 避免误伤 。
目前第一代IMX500还存在一定的局限性 , 只能运行比较基础的机器学习算法 , 还不具备处理复杂任务的能力 。
面对日益增加的自动驾驶等需求 , 索尼希望未来将IMX500打造成一个简单的单应用设备 , 即专门应对复杂和多样化任务的专用AI硬件 , 具备处理和分析更复杂任务的能力 , 而不仅局限于运行基础算法 。
索尼首席执行官吉田宪一郎明确表示 , 新产品符合公司的长期目标 , 即扩大其传感解决方案的种类并追求更多样化的经常性收入 。
目前在图像处理领域 , 索尼拥有巨大的影响力 , 市场份额超过60% , 去年传感器出货量约为16亿枚 。 因此索尼认为 , 一旦技术完成多次迭代走向成熟 , 庞大的占有量足以帮助其大规模推广AI图像传感器 , 打入消费者市场 。
https://www.bloomberg.com/news/articles/2020-05-14/sony-builds-ai-into-latest-image-sensor


    推荐阅读