江苏龙网

  1. 首页 > 人文 > >

人工智能AI基准测试MLPerf模型少、更新慢，地平线提出的MAPS会更好吗？ | CCF-GAIR 2020( 三 )


人工智能AI基准测试MLPerf模型少、更新慢，地平线提出的MAPS会更好吗？ | CCF-GAIR 2020
本文插图
以ImageNet图像分类任务为例 ， EdgeTPU运行不同模型的精度和帧率
如何理解？为以ImageNet图像分类任务为例 ， 如上图所示 ， 横轴表示芯片的处理速度 ， 衡量方式是每秒帧率（FPS） ， 纵轴表示芯片的处理精度 ， 度量方法是Top1分类精度 。 因为在边缘应用领域 ， 过高（会过慢）或者过低（会不准）的处理精度都不具备实际的应用价值 。 不失一般性 ， MAPS评估方式选择75%~80.5%为精度保障范围 。
针对某芯片 ， 将某算法模型运行得到的处理速度和精度用一个点表示在该图上 ， 尝试多种不同的选择 ， 并将精度保障范围内位于最右侧（即速度最快）的若干点和上、下、左边界所围多边形面积大小 ， 除以该多边形的高 ， 即MAPS=所围多边形面积 /（最高精度-最低精度）， 得到该芯片的MAPS值单位仍是FPS ， 表示在此精度保障范围内的平均处理速度 。
人工智能AI基准测试MLPerf模型少、更新慢，地平线提出的MAPS会更好吗？ | CCF-GAIR 2020
本文插图
图为MAPS评估方式下主流芯片测试结果 ， 右一折线为地平线最新一代芯片测试结果
黄畅说：“可以看出 ， 同样标称4TOPS算力的芯片的表现差异还是很大的 ， 在MAPS上甚至有将近2倍的差异 ， 地平线即将推出的新一代芯片和11.4TOPS峰值算力的芯片相比 ， 虽然在精度较高的区间上稍有劣势 ， 但是在追求速度和延迟低的场景中会有明显的优势 。 ”
他同时表示 ， “这只是一组基于EfficientNet模型评估的结果 ， 相信随着算法不断演进 ， 这些曲线会不断地发生变化 。 我们也希望有更多的软件、算法工作者 ， 在MAPS评估方法的启发下 ， 秉承开放包容的态度 ， 在自己最擅长的能力上持续推动AI芯片能力的发挥 。 ”
雷锋网小结
AI芯片当下最为关键正是满足应用的需求实现大规模落地 ， 在这个过程中 ， 如果能够有一个标准 ， 既能降低AI芯片的选择难度 ， 也能让业界达成共识朝着相同的目标努力 。 但正如黄畅接受采访时所说：“达成所谓的标准极其困难 ， 要达成共识最根本的还是用商业化落地的结果 ， 最终回归价值创造本身 。 ”
为此 ， 地平线提出了MAPS评估方法 ， 其重要核心在于放下成见 ， 包容所有的选择 。 MAPS能否获得业界的广泛认可仍有待观察 。
最后 ， 还有文章开头提到的AI芯片性能与AI算法需求之间的尖锐矛盾 ， 有人提出了开放硬件的解决方法 。 对此 ， 黄畅表示：“无论是我还是地平线 ， 我们都相信开放是一个更好的选择 ， 尤其是把时间轴拉长 ， 把整个价值体系放得更宽 ， 开放一定是更好的选择 。 因为没有什么比开放更能够汇聚力量 。 ”
注：文中配图来自地平线


推荐阅读


上一篇：中年全球区块链高峰论坛暨扬子江区块链国际创新中心揭牌仪式在南京江北新区成功举办

下一篇：互联网微信公众号“问答”具体怎么玩？支持随图文消息一并转发