一般来说，对于学习深度学习和原型设计，RTX 3070 也是一种可靠的卡，它比 RTX 3080 便宜 200 美元 。如果你负担不起 RTX3080，那么 RTX3070 是最好的选择 。
如果你的预算有限，而 RTX 3070 又太贵，那么一个二手 RTX 2070 在易趣上大约要 260 美元 。现在还不清楚是否会推出 RTX 3060，但如果你的预算有限，可能也值得再等一段时间 。如果定价与 RTX 2060 和 GTX 1060 类似，那么预计其价格将在 250 美元到 300 美元之间，而且性能相当强劲 。
GPU 集群建议GPU 集群设计高度依赖于用途 。对于一个 +1024 GPU 系统，网络最重要，但在这样的系统上，如果用户一次最多只使用 32 个 GPU，投资强大的网络基础设施就是浪费 。在这里，我将使用类似原型推广的推理，如在 RTX 3080 和 RTX 3090 案例对比中所做的那样 。
一般来说，因为 CUDA 许可协议，RTX 卡被禁止进入数据中心 。然而，大学通常可以得到这个规则的豁免 。与英伟达的人取得联系请求豁免权是值得的 。如果你被允许使用 RTX 卡，那么我建议使用配备了 RTX 3080 或 RTX 3090 GPU 的标准 Supermicro 8 GPU 系统（如果可以保证有效冷却） 。一组 8x A100 节点就可以确保在原型化之后有效地“推广”，特别是在不能保证 8x RTX 3090 服务器能够得到充分冷却的情况下 。在这种情况下，我建议使用 A100 而不是 RTX 6000 / RTX 8000，因为 A100 非常划算，而且是面向未来的 。
如果你想在一个 GPU 集群（+256 个 GPU）上训练非常大的网络，我推荐配备了 A100 GPU 的 NVIDIA DGX SuperPOD 系统 。在 +256 GPU 的规模下，网络变得至关重要 。如果你想扩展到超过 256 个 GPU，那么你将需要一个高度优化的系统，把标准解决方案攒在一起就不在有效了 。
特别是在 +1024 GPU 的规模上，市场上唯一具有竞争力的解决方案是谷歌 TPU Pod 和 NVIDIA DGX SuperPod 。在这个规模上，我更喜欢谷歌 TPU Pod，因为他们定制的网络基础设施似乎优于 NVIDIA DGX SuperPod 系统——尽管这两种系统非常接近 。比起 TPU 系统，GPU 系统为深度学习模型和应用提供了更多的灵活性，而 TPU 系统支持更大的模型，并提供更好的伸缩性 。所以两种系统都有各自的优点和缺点 。
不要买这些 GPU我不建议购买多个 RTX Founders Editions 或 RTX Titans，除非你有 PCIe 扩展器可以解决它们的冷却问题 。它们运行时很容易过热，其性能将远远低于上文图表中的数值 。4x RTX 2080 Ti Founders Editions GPU 将很快超过 90C，此时，其内核的时钟频率会降低，运行速度将比适当冷却的 RTX 2070 GPU 更慢 。
我不建议购买 Tesla V100 或 A100，除非你是被迫购买的（禁止 RTX 数据中心策略的公司），或者你想在一个巨大的 GPU 集群上训练非常大的网络——这些 GPU 不是很划算 。
如果你能买得起更好的卡，就不要购买 GTX 16 系列 。这些卡没有张量核，因此，深度学习性能相对较差 。相比 GTX 16 系列，我宁可选择二手的 RTX 2070 / RTX 2060 / RTX 2060 Super 。如果你差钱，那 GTX 16 系列也算是个不错的选择 。
什么情况下最好不要购买新的 GPU？如果你已经拥有 RTX 2080 Tis 或更好的 GPU，升级到 RTX 3090 可能就没有意义 。你的 GPU 已经很好了，使用新推出的高能耗 RTX 30 卡，你需要为 PSU 和冷却问题担忧，而性能的提升却微不足道——不值得 。
我想要从 4x RTX 2080 Ti 升级到 4x RTX 3090 的唯一原因是，我在研究非常大的 Transformer 或其他高度依赖计算的网络训练 。但是，如果内存是问题，在升级到 RTX 3090 之前，你可以首先考虑一些内存技巧，以便在 4x RTX 2080 Tis 上适配大模型 。
如果你有一个或多个 RTX 2070 GPU，升级前要三思 。这些都是很好的 GPU 。如果你发现自己经常受限于 8GB 的内存，那么可以在 eBay 上转手出售这些 GPU 并获得 RTX 3090 。这一推论也适用于许多其他 GPU：如果内存紧张，那么升级就是对的 。
问 & 答 & 误解要点：
- PCIe 4.0 和 PCIe 通道在 2x GPU 设置中并不重要 。对于 4x GPU 设置，它们也不是特别重要 。
- RTX 3090 和 RTX 3080 的冷却会是个问题 。使用水冷卡或 PCIe 扩展器 。
- NVLink 没用，只对 GPU 集群有用 。
- 你可以在一台计算机中使用不同的 GPU 类型（如 GTX 1080 + RTX 2080 + RTX 3090），但你无法有效地将它们并行 。
- 在两台以上的机器上并行训练，你需要 Infiniband +50Gbit/s 的网络 。
- AMD CPU 比 Intel CPU 便宜，而 Intel CPU 几乎没有任何优势 。
- 尽管做出了非常大的努力，但由于缺少社区和张量核，至少在 1-2 年内 AMD GPU+ ROCm 可能都无法与 NVIDIA 竞争 。
推荐阅读
- 狗如何训练定点大小便 如何训练柯基狗狗在固定地点大小便
- 初学者如何学太极拳 二个训练方法要谨记
- 跆拳道力量训练的方法有哪些？
- 跑步训练器锻炼有哪些好处呢
- 跑步怎么训练呢
- 长跑体能训练方法有哪些呢
- 足球运动员训练方法介绍
- 运动|曝胖猴仔被训练营“扫地出门”，600W打水漂，网友：自己作的
- 踝关节力量训练方法有哪些？
- 拳击的力量训练有哪些？
![[大河财立方]星巴克与红杉中国达成战略合作，加速零售创新](https://imgcdn.toutiaoyule.com/20200427/20200427195343329819a_t.jpeg)
