NVIDIA|NVIDIA两款全新GPU首秀:刷新AI推理纪录、性能314倍于CPU( 二 )


NVIDIA|NVIDIA两款全新GPU首秀:刷新AI推理纪录、性能314倍于CPU
文章图片
雷锋网(公众号:雷锋网)了解到,在配置相当的情况下,采用Triton的提交结果所达到的性能接近于最优化GPU能够达到性能的95%,和最优化CPU99%的性能 。
另外,NVIDIA还使用Ampere架构的多实例GPU性能,在单一GPU上使用7个MIG实例,同时运行所有7项MLPerf离线测试,实现了与单一MIG实例独立运行几乎完全相同的性能 。
NVIDIA|NVIDIA两款全新GPU首秀:刷新AI推理纪录、性能314倍于CPU
文章图片
小结
MLPerf Benchmark结果的持续更新,可以为在IT基础设施投资的企业提供一些有价值的参考,也能推动AI的应用和普及 。
在这个过程中,软件对于AI性能的提升非常重要,同样是A100 GPU,通过有针对性的优化,半年实现了45%的性能提升 。
同时也不难发现,NVIDIA正在通过持续的软硬件优化,以及更丰富的产品组合,保持其在AI领域的领导力,在AI领域想要超越NVIDIA似乎正在变得越来越难 。
NVIDIA|NVIDIA两款全新GPU首秀:刷新AI推理纪录、性能314倍于CPU
文章图片


推荐阅读