GPU选购指南:训练ML模型,我必须买RTX3080吗?(20)

即每年 591kW/h,需额外支付 71 美元 。
在利用率为 15%(一天中 15% 的时间使用云实例)的情况下,台式机和云实例的盈亏平衡点大约是 300 天(2311 美元 vs 2270 美元):

2.14/h∗0.15(utilization)∗24hours∗300days=2.14/h∗0.15(utilization)∗24hours∗300days=2,311
因此,如果你希望在 300 天后继续运行深度学习模型,最好是购买一台台式机,而不是使用 AWS spot 实例 。
对任何云服务,你都可以进行类似的计算,以决定是使用云服务还是台式机 。
下面是常见的利用率:
  • 博士生个人台式机:< 15%
  • 博士生 slurm GPU 集群:> 35%
  • 企业 slurm 研究集群:> 60%
一般来说,对于那些思考前沿想法比开发实用产品更重要的职业来说,利用率较低 。有些领域的利用率很低(可解释性研究),而其他领域的利用率则高得多(机器翻译、语言建模) 。一般来说,个人机器的利用率几乎总是被高估了 。大多数个人系统的利用率通常在 5-10% 之间 。这就是为什么我强烈推荐 slurm GPU 集群给研究小组和公司,而不是个人的桌面 GPU 机器 。

【GPU选购指南:训练ML模型,我必须买RTX3080吗?】


推荐阅读