智东西|征服全球最严AI测试,性能飙升三倍!浪潮AI服务器如何做到?( 二 )


智东西|征服全球最严AI测试,性能飙升三倍!浪潮AI服务器如何做到?
本文插图
▲原始测试成绩表格
智东西|征服全球最严AI测试,性能飙升三倍!浪潮AI服务器如何做到?
本文插图
▲各服务器厂商的数据对比图表(蓝色为浪潮NF5488A5数据) 在数据中心场景下的16项基准测试性能指标中:对于封闭模型测试任务分区 , 浪潮打破了11项整机性能纪录 , NVIDIA打破4项纪录(2项与浪潮并列)、QCT打破3项纪录;开放模型分区的6项测试中 , 浪潮打破2项纪录 , NVIDIA打破1项纪录 。在边缘端基准测试中:对弈封闭模型测试分区 , NVIDIA打破14项纪录 , 浪潮打破3项纪录;开放模型分区的4项测试中 , 浪潮打破2项纪录 , DELL打破1项纪录 。
智东西|征服全球最严AI测试,性能飙升三倍!浪潮AI服务器如何做到?
本文插图
▲浪潮NF5488A5在数据中心和边缘端场景基准测试打破性能纪录次数 在此次基准测试中 , 浪潮AI服务器NF5488A5在开放优化(Open)和固定任务(Closed)的ResNet50基准性能测试中 , 均表现优异 。 在焦点赛道ResNet50基准性能测试中 , NF5488A5表现出了54.9万/秒的推理性能 , 相比2019年MLPerf推理榜单的全球最好成绩性能提升高达3倍 。
【智东西|征服全球最严AI测试,性能飙升三倍!浪潮AI服务器如何做到?】智东西|征服全球最严AI测试,性能飙升三倍!浪潮AI服务器如何做到?
本文插图
▲MLPerf ResNet50推理性能2019 VS 2020对比 在短短一年的时间内 , 如此高倍的性能提升令人惊叹 , 而更让人为之称奇的是 , NF5488A5已经量产 , 并非仅作为高端产品参与测试 。1年时间 , 18项纪录 , 3倍性能提升 , 这些数字不止支撑着浪潮新一代AI服务器在MLPerf中问鼎AI“机王” , 也代表着浪潮AI服务器在技术积累上的充足底气 。
智东西|征服全球最严AI测试,性能飙升三倍!浪潮AI服务器如何做到?
本文插图
是单个软硬件的性能PK , 也是整机系统优化的性能考验NF5488A5是浪潮在MLPerf中大展光彩的“功臣” 。 NF5488A5单机训练性能可达5 PetaOPS , 相比浪潮上一代服务器计算性能提升234% 。在最新公布的 MLPerf推理测试榜单中 , 浪潮NF5488A5问鼎 AI 推理基准测试 18项纪录 , 全面覆盖图像分类、目标检测、自然语言理解、智能推荐等场景 。 其中在ResNet50模型推理任务处理达到每秒处理54.9万多张图片的推理性能;Bert 自然语言理解推理任务达 26675 条/秒;DLRM 智能推荐每秒推理处理能力达 210 万条 。在7月 MLPerf公布的训练测试榜单中 , NF5488A5仅用时33.37分钟 , 就在包含 128 万张图片的 ImageNet数据集上完成ResNet50模型的训练 , 相当于每秒训练 23000多张图片 , 单机计算性能高居第一 , 可谓是最快人工智能训练服务器 。NF5488A5是此次MLPerf全球竞赛中唯一可以在4U空间内支持8块安培架构A100芯片实现NVLink高速互联的AI服务器 。浪潮NF5488A5在系统拓扑上采用了超低延迟设计 , 支持PCIe 4.0全链路极致优化 , 高频通信单元采用一级拓扑最近连接 , 最大限度提升处理器到AI芯片间的通信性能 。同时 , 通过配置NUMA节点 , 确保每颗处理器与其直连的GPU之间通信性能最优 , 最大限度降低通信延迟 。 此外 , NF5488A5通过深度优化系统结构设计 , 确保设备可在高环温下稳定运行 。在用户体验方面 , 用户会在稳定性和性能两方面体会到浪潮最新一代AI服务器的不同 。 即使在35摄氏度的环温下 , NF5488A5也能稳定高性能的运行 。 NF5488A5是一款通用服务器 , 可以支持各类流行的AI应用场景 , 如计算机视觉、语音识别、智能客服等 。
智东西|征服全球最严AI测试,性能飙升三倍!浪潮AI服务器如何做到?


推荐阅读