GPU选购指南：训练ML模型，我必须买RTX3080吗？(16) _GPU选购

使用预训练的 Transformer；从头开始训练小型 Transformer：>= 11GB
在研发 / 生产环境中训练大型 Transformer 或卷积网络：>= 24 GB
开发神经网络原型（Transformer 或卷积网络）：>= 10 GB
Kaggle 竞赛：>= 8 GB
计算机视觉应用：>= 10GB

文章插图

文章插图

GPU 推荐我需要再次强调的第一件事是：在选择 GPU 的时候，你需要确保它有足够的内存来完成你想做的事情。选择 GPU 应该按下面的步骤来：

我想用 GPU 做什么：Kaggle 竞赛、学习深度学习、破解小项目（GAN 还是大型语言模型？）、计算机视觉 / 自然语言处理 / 其他领域研究，或者其他什么?
我要做的事需要多大内存？
使用上面的成本 / 性能图找出满足内存标准的、最适合你的 GPU 。
对于我选择的 GPU 有其他的注意事项吗？例如，如果是 RTX 3090，我能把它装进我的电脑吗？对于我选的 GPU，我的电源单元（PSU）功率是否足够？散热会是问题吗？或者我能以某种方式有效地冷却 GPU 吗？

其中一些细节需要你自我反省你想要什么，也许可以研究一下，对于你的兴趣领域，其他人使用多大内存的 GPU 。我可以提供一些指导，但无法面面俱到。
我什么时候需要 >= 11 GB 的内存？我之前提到过，如果你使用 Transformer，那么你至少应该有 11GB 的内存，如果你研究 Transformer，则内存 >= 24GB 更好。这是因为之前大多数经过预训练的模型都有相当高的内存要求，而且这些模型至少是使用拥有 11 GB 内存的 RTX 2080 Ti GPU 进行训练。因此，小于 11GB 可能会遇到难以或不可能运行某些模型的情况。
其他需要大量内存的领域包括医学成像、一些最先进的计算机视觉模型以及任何有超大图像的东西（GAN，样式转换）。
一般来说，如果你想建立一个模型并据此获得竞争优势，无论是研究、行业还是 Kaggle 竞赛，额外的内存可能会为你带来优势。
什么时候内存可以 <11 GB ？RTX 3070 和 RTX3080 是非常强大的卡，但它们内存有点小。不过，对于许多任务，你不需要那么大的内存。
如果你想学习深度学习，那么 RTX 3070 就很完美。这是因为训练大多数架构的基本技能都可以通过将它们缩小一点或者使用小一点的输入图像来学习。如果我再次学习深度学习，我可能会使用一个 RTX 3070，如果有多余的钱，甚至会用多个。
RTX 3080 是目前为止最具成本效益的卡，因此是原型设计的理想选择。对于原型设计，你想要内存最大的，这仍然很便宜。这里所说的原型设计可以是在任何领域的原型设计：研究、Kaggle 竞赛、为创业公司出主意 / 设计模型、试验研究代码。对于所有这些应用程序，RTX 3080 都是最好的 GPU 。
假设我将领导一个研究实验室 / 创业公司。我将把 66-80% 的预算投入到 RTX 3080 机器上，20-33% 用于配备了强大水冷装置的 RTX 3090 机器。我的想法是，RTX 3080 的成本效益更高，可以作为原型机，通过 slurm 集群设置来共享。因为原型设计应该以敏捷的方式完成，所以应该使用较小的模型和数据集。RTX 3080 非常适合这个场景。一旦学生 / 同事获得了一个很好的原型模型，他们就可以将原型转移到 RTX 3090 机器上，并将其扩展为更大的模型。
一般建议总的来说，RTX 30 系列非常强大，我强烈推荐这些 GPU 。如前一节所述，要注意内存，还要注意电源和冷却需求。如果你的 GPU 之间有一个 PCIe 插槽，则冷却将没有任何问题。否则，如果使用 RTX 30 卡，请准备好水冷装置、PCIe 扩展器或有效的鼓风扇卡（未来几周的数据将会说明，NVIDIA 的风扇设计是足够的）。
一般来说，我会推荐 RTX 3090 给任何买得起它的人。不仅是现在，未来 3-7 年它都将是一个非常有效的卡。因此，这是一项将保持强劲增长的好投资。HBM 内存三年内不太可能变便宜，所以下一个 GPU 只会比 RTX 3090 好 25% 左右。我们可能会在 5-7 年内看到廉价的 HBM 内存，在那之后，你肯定想要升级。
如果你有多个 RTX 3090，请确保你选择的解决方案可以提供有效的冷却和足够的电力。对于什么样的设置合适，我将随着可用数据的增加更新关于这个问题的博文。
对于没有强烈竞争需求的企业（研究公司、Kaggle 竞赛、竞争性初创公司），我推荐 RTX 3080 。这是一个更经济的解决方案，并将确保大多数网络的训练都足够快。如果你使用了合适的内存技巧，并且不介意额外进行编程，那么现在有足够的技巧将一个 24GB 的神经网络适配到 10GB 的 GPU 上。因此，如果你接受一些不确定性和额外的编程，那么 RTX 3080 也可能是比 RTX 3090 更好的选择。