怎么选择适合深度学习的GPU

 

深度学习作为机器学习领域中一个新的研究方向，学习样本数据的内在规律和表示层次，最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个对计算有大量需求的领域，一定程度上，GPU算力决定了深度学习的体验。

虽然CPU集多种功能于一身，其优点在于调度、管理以及协调能力强，但是计算能力却不是重点；GPU则拥有大量计算能力，接受CPU调度。对于深度学习需要进行大量数据处理的情景，GPU提供了多核并行计算的基础结构，且核心数非常多，可以支撑大量数据的并行计算；拥有更高的访存速度和浮点运算能力，非常适合应用于深度学习领域。

其中，GPU浮点运算能力是关系到处理器的多媒体、3D图形处理的一个重要指标。现在的计算机技术中，由于大量多媒体技术的应用，浮点数的计算大大增加了，比如3D图形的渲染等工作，因此浮点运算的能力是考察处理器计算能力的重要指标。

那么如何选择适合深度学习的GPU呢？目前独立显卡主要有AMD和NVIDIA两家厂商。其中NVIDIA在深度学习布局较早，对深度学习框架支持更好，AMD功能强大，却缺少足够的支持。因此，大家主要会选择NVIDIA的GPU。

总体而言，NVIDIA目前最适合深度学习的GPU是RTX3080和RTX3090。RTX系列显卡对于深度学习来说最大的优势在于专为神经网络设计的运算单元——Tensor Core（张量核心），而RTX30系列性能的提升是上一代产品图灵架构的2倍。

根据测评参数，NVIDIA旗舰显卡RTX3080拥有8704个CUDA核心，272个TMU，88个ROP，以及68个SM。Tensor Core数量达到544个，RT Core为136个。

其中，被称为GPU“猛兽”的RTX 3090 使用代号为 GA102 的核心，和前代泰坦一样拥有 24G 显存，但型号升级为 DDR6X（镁光提供），显存速度 19.5Gbps，384bit 位宽，拥有 10496 个等效 CUDA 核心，相比 GeForce RTX 2080 Ti，3090 的核心数量增加一倍不止。

不过，自2020年9月上市以来，RTX3080和RTX3090一直处于一卡难求的状态，市场价更是涨了7倍，而供货商甚至无法预测具体的供货时间。

对于企业和实验室的科研人员而言，要在预算范围内购买最新的GPU，特别是RTX3080和RTX3090这类旗舰显卡难以实现；进行整机配置时，需要考虑多个因素，比如电源、机箱体积，主板的PCle卡槽等，这时候，云电脑在GPU算力上的选择则更为灵活和方便。

虽然AWS / Azure上的GPU实例和Google Cloud中的TPU都是深度学习的可行选择，但它缺乏云电脑的多功能性、灵活性和安全性。

青椒云作为新一代卓越强劲的GPU云桌面，搭载了全新RTX3080及RTX3090，基于异构计算提供强劲浮点计算能力服务，提供端到端的深度学习资源，缩短训练环境部署时间，为客户提供更强大的AI算力支持，加速AI落地应用。同时，青椒云简单易用，极速部署，只需下载青椒云客户端，即可享受超强GPU算力，真正实现了开机即用。