gpu性能和gpu内存

CPU缓存分为三类，一级缓存(L1)、二级缓存(L2)和三级缓存(L3)。CPU在实际数据读取中重要的却是一级缓存，因为一级缓存速度最快，二级缓存其次，三级缓存最慢，只是三级缓存的容量最大。GPU中也有缓存。

速度最快的是寄存器，他能和cpu同步的配合，接着是缓存，在CPU片上，然后是主存储器，现在常见的就是内存条，显卡上也有内存芯片，然后是硬盘，这些内存设备的速度和容量相反，越快的越小，越慢的越大。

CPU和GPU的主存都是采用DRAM——动态随机存取存储器，而低延迟的内存，比如一级缓存，则采用SRAM——静态随机存取存储器。虽然底层的存储器延迟高，容量大，但是其中有数据被频繁使用的时候，就会向更高一级的层次传输，比如我们运行程序处理数据的时候，程序第一步就是把硬盘里的数据传输到主存里面。

GPU和CPU的内存设计有相似的准则和模型。但他们的区别是：CUDA编程模型将内存层次结构更好的呈献给开发者，让我们显示的控制其行为。

在这里插入图片描述

GPU主要性能指标

GPU的性能主要由以下几个参数构成：

计算能力（吞吐量）：通常关心的是32位浮点计算能力。16位浮点训练也开始流行，如果只做预测的话也可以用8位整数。

显存大小：当模型越大，或者训练时的批量越大时，所需要的GPU内存就越多。

显存位宽：位数越大则瞬间所能传输的数据量越大

显存带宽：只有当内存带宽足够时才能充分发挥计算能力。

对于大部分用户来说，只要考虑计算能力就可以了。GPU内存尽量不小于4GB。但如果GPU要同时显示图形界面，那么推荐的内存大小至少为6GB。内存带宽通常相对固定，选择空间较小。

计算能力（吞吐量）

一个非常重要的性能指标就是计算吞吐量，单位为GFLOP/s，算力指标

Giga-FLoating-point OPerations per second

表示每秒的浮点操作数量。

每秒浮点运算量，是衡量GPU硬件计算能力的指标。

在这里插入图片描述

例如：现在intel purley platform的旗舰skylake 8180是28Core@2.5GHZ，支持AVX512，其理论双精度浮点性能是：28Core2.5GHZ32FLOPs/Cycle=2240GFLPs=2.24TFLOPs

显存大小

而GPU中的我们叫做显存。基本上GPU的内存带宽要比CPU多一个数量级。

GPU服务器，就是有专用显卡的服务器，一般多用于超级算力，图形计算，或者说IPFS挖矿等，一般来说，GPU服务器多为4U的服务器。根据GPU的数量不同，该服务器的功率也是不一样的。

一块GPU卡一般耗电350W，一般4U的服务器最大可以支持8块GPU卡，通常业内多称之为8卡GPU服务器，当然也有4卡，6卡的。如果装满8卡GPU，那么其耗电在2800瓦，差不多就是 13A电力。一般常规的机房机柜标准配电是13A起步 （也有按10A起步的）

如果是放在13A电力的机柜里，那么一台4U 8卡的GPU服务器就得占用一个机柜，所以这个时候，如果客户机器数量比较多的话，就租用高电机柜比较合算，不然一台占一个机柜，机柜空间就大大的浪费了。

一般来说，不计算用电的情况下，一个4U的机柜的机柜费是根据 一个机柜的总成本除8得出来的（因为一个42U的机柜 空间上可以放8台4U服务器）。比如说我们国门机房 1个机柜 42U ，13A电力一个月是4000元，除8等于500元。也就是说正常在国门机房，如果1个4U的机位，在用电不超过13除以8也就是1.625A的情况下，只需要500元的机位费。 当然这个是理论值，一般来说4U的机器，耗电量正常的都要在2.5A左右，如果是GPU专业服务器，常见耗电在5A左右，也有一台耗电量在13，或25或32A等不同档次的。

所以说咱们在托管GPU服务器的时候，一定要确定机器的耗电量是多少，然后再看是整租个普通机柜，还是租用高电机柜 放多台GPU服务器。

---