智东西|华为昇腾AI全栈软件平台首次全解读!重磅AI计算核弹齐发( 三 )


本文插图

考虑到不同开发者的需求差异 , CANN 3.0提供DSL和TIK两种张量加速引擎(TBE)算子开发方式 , 以兼顾对效率和灵活性的不同需求 。
其中 , TBE-DSL面向入门开发者 , 可自动实现数据切分和调度 , 可覆盖70%的算子 , 将算子开发时间降低较业界降低70% , 使开发者只需关注计算实现表达 。
TBE-TIK则面向高级开发者 , 提供指令级编程和调优过程 , 可覆盖全部算子 , 需由开发者手工完成指令集调用过程 , 可兼具灵活性和高性能 。
3 、亲和昇腾的图编译技术 ,1000+ 高性能算子库支持
CANN 3.0还具备亲和昇腾的图编译技术 , 可有效提升图优化效率 , 最大化发挥芯片算力 。
智东西|华为昇腾AI全栈软件平台首次全解读!重磅AI计算核弹齐发
本文插图

神经网络可看作一张张的图 , 过去大部分图在host CPU执行 , 如今昇腾的图编译器 , 实现整图下沉执行 , 图和算子均可在device侧执行 , 减少了芯片与host CPU的交互时间 , 从而更充分地发挥昇腾芯片的算力 。
图拆分和融合方面 , 通过自动算子融合等技术 , 将大量节点自动拆分、融合 , 以减少计算节点和计算时间 , 持续保持计算资源的高强度运行 。
数据Pipeline智能优化极大提升数据资源处理效率 , 通过计算数据智能切分与智能分配流水机制 , 实现单指令计算单元的最高使用率 , 并持续保持计算资源高强度运行 。
目前CANN 3.0提供有1000+深度优化的硬件亲和算子 , 支持多框架共用 , 且自适应全系列昇腾芯片 , 可实现最佳运行性能 。
自家的软件 , 最懂如何挖掘自家硬件的性能 。
基于高度适配的软硬件组合 , 华为 Atlas 硬件在主流推理和训练模型的性能均为业界领先 。
在主流推理场景 , 据华为实测 , AI推理卡Atlas 300I性能超过业界主流推理卡 。 特别是在高清视频场景中 , 单张Atlas 300I推理卡可同时处理80路1080p、25FPS的高清视频 , 是业界主流推理卡可同时处理路数的2倍 。
智东西|华为昇腾AI全栈软件平台首次全解读!重磅AI计算核弹齐发
本文插图

对于有大量视频分析需求的企业 , 可同时处理的视频路数越多 , 整体硬件成本下降的越快 。 旷视、格灵深瞳等企业正基于华为AI推理卡打造高路数视频分析解决方案 。
华为实测数据显示 , 在主流模型训练场景 , 华为最高算力密度服务器Atlas 800在多种模型的实测性能超过业界主流新品训练服务器 , 平均实测性能约为业界主流上一代训练服务器的2.5倍 。
智东西|华为昇腾AI全栈软件平台首次全解读!重磅AI计算核弹齐发
本文插图

除了计算卡外 , 软件能力也充分释放了华为AI集群的总体性能 。
线性度是指多个机器同时处理运算时 , 受机器间通信等能力影响 , 最终实际发挥性能资源的利用率 。 经由L2网络与CANN层算法的联合优化 , 昇腾芯片的线性度超过业界领先水平 。
智东西|华为昇腾AI全栈软件平台首次全解读!重磅AI计算核弹齐发
本文插图

三、开发工具全家桶 MindStudio 2.0 :即装即用 , 高度智能工欲善其事 , 必先利其器 , 全流程开发工具链MindStudio即是华为提供的AI开发“利器” 。
MindStudio 2.0提供了一套简单易用的一站式开发工具 , 可高效完成端到端全场景开发 , 让开发者从算子开发、模型训练、模型推理、应用开发到应用部署的全流程一套工具全部搞定 , 无需在不同工具上完成 , 有效降低开发门槛 。
智东西|华为昇腾AI全栈软件平台首次全解读!重磅AI计算核弹齐发
本文插图

MindStudio可一键式完成安装部署、可视化模型开发和智能调优功能大大提高模型开发效率 , 算子开发方面则更加高效 。


推荐阅读