江苏龙网

  1. 首页 > 人文 > >

智东西 算法5分钟快速部署！揭秘肇观电子AI芯片背后“黑科技”，刷新端侧AI芯片性能( 二 )


二、N1系列芯片：“又快又准”是主要指标
每个应用和系统厂商都在寻找在性能、功耗、成本等方面综合因素下合用的AI芯片 。 评估AI芯片是否适合使用往往从每元钱能获得的性能、每度电能获得的性能、部署实施的成本、元器件是否稳定可靠等几个方面来衡量 。
其中 ， 芯片厂商宣称的每TOPs（Teraoperationspersecond）的算力对应的实际每秒计算多少帧数据（例如图片或者视频） ， 以及算法从训练到部署的转换中对精度的保持成为关键 。
据肇观电子分享 ， 根据不同算法网络的测试结果 ， N1系列芯片每TOPS算力下每秒可推理图片的数量展示出了业界领先的水平 。 同时 ， N1系列还支持FP16高精度网络 。
智东西 算法5分钟快速部署！揭秘肇观电子AI芯片背后“黑科技”，刷新端侧AI芯片性能
文章图片
在INT8的精度下 ， N161跑各项网络可以达到的每秒帧数
智东西 算法5分钟快速部署！揭秘肇观电子AI芯片背后“黑科技”，刷新端侧AI芯片性能
文章图片
在FP16的精度下 ， N161跑各项网络可以达到的每秒帧数
以面向智慧安防应用场景研发的N161芯片为例 。 计算性能方面 ， 肇观电子记录了N161芯片对9种算法网络的运行结果 ， 并对比N161芯片与某业界旗舰芯片对其中5种算法网络的运行效果 。
对比结果显示 ， 针对ResNet-50、MobilleNetV1、MobilleNetV2、MobilleNetV1-SSD、YOLOV3这五种算法网络 ， 在INT8精度下 ， N161芯片的运行效果均优于某业界旗舰芯片 。
智东西 算法5分钟快速部署！揭秘肇观电子AI芯片背后“黑科技”，刷新端侧AI芯片性能
文章图片
针对五种算法网络 ， N161芯片与某业界旗舰芯片的运行结果对比
对于一款AI芯片来说 ， 除了过硬的计算性能 ， 计算精度也是一个需要考虑的重要指标 。 这是因为在算法模型的训练、部署过程中 ， 数据类型转换导致的精度损失会使成本上升 。
以无人零售设备为例 ， 如果物体识别算法在实际运行中有1%的精度下降 ， 货损率和运营成本就会大幅增加 。
肇观电子记录了N161芯片在PCNCNNfp32精度、板端INT8精度下 ， 对7种算法网络的运行结果 ， 并计算模型从fp32量化为INT8时的精度损失 。
根据7种不同网络的测试结果 ， N161INT8量化网络的精度损失均在1%以内 ， 亦支持FP16网络直接无精度损失的部署 。
智东西 算法5分钟快速部署！揭秘肇观电子AI芯片背后“黑科技”，刷新端侧AI芯片性能
文章图片
针对七种算法网络 ， N161INT8量化网络几乎无精度损失
三、InferStudio?：破解算法落地难题
人工智能落地的挑战 ， 一方面在于整个产业链亟待在性能、成本、功耗等方面综合性能优异的核心芯片；另一方面则在于算法部署实施、具体应用过程中 ， 所需知识技能过于专业而导致的综合成本高昂 。 其中 ， 后者成为算法部署落地的一大难题 。
针对这一问题 ， 肇观电子推出AI应用开发平台InferStudio? 。 InferStudio?能够将算法“翻译”成芯片能够“读懂”的表述文件 ， 使算法快速完成部署 ， 同时为开发者提供“一键式”的开发体验 。
以车载项目为例 ， 在监测司机是否在驾驶过程中出现说话、打电话、打瞌睡等情况时 ， 系统需要监测司机的眼部状态、司机耳边是否有电话等 。 通常来说 ， 部署这样一套系统需花费至少一星期的时间 。 相比之下 ， 借助InferStudio?开发平台可使该算法迅速完成编译并在平台上高速跑起来 。
这一过程中 ， 通过模块间Bind的方式 ， 开发者可灵活地根据自己的应用需求组合功能模块 ， 或者自由删除、替换、增加某些算法模块 。 所有pipeline搭建工作都可通过可视化或几行配置代码来实现 ， 将AI算法开发时间压缩到极限 。
除了车载场景 ， 对于物体分类、人脸/车辆识别、物体分割等应用场景 ， InferStudio?开发平台亦可加速算法编译到应用部署的过程 。
智东西 算法5分钟快速部署！揭秘肇观电子AI芯片背后“黑科技”，刷新端侧AI芯片性能


推荐阅读


上一篇：上海市普陀区人民政府网站|寻找秋天的颜色——晋元附校国庆中秋主题教育活动举行

下一篇：中国网科技|360杜跃进：安全将成数字时代刚需，企业抓住机遇才能形成最大竞争力