数据中心服务器技术发展趋势与应用

当前，为推进IT支撑系统集约化建设和运营，进一步发挥集中化能力优势，IT云成为运营商IT支撑系统建设的基础架构。但在IT云资源池部署过程中，服务器技术面临多个新挑战，主要体现在以下3个方面。

在性能方面，人工智能（AI）应用快速扩张，要求IT云采用高性能GPU服务器。AI已在电信业网络覆盖优化、批量投诉定界、异常检测/诊断、业务识别、用户定位等场景规模化应用。AI应用需求的大量出现，要求数据中心部署的服务器具有更好的计算效能、吞吐能力和延迟性能，以传统通用x86服务器为核心的计算平台显得力不从心，GPU服务器因此登上运营商IT建设的历史舞台。

在效率成本方面，IT云部署通用服务器存在弊端，催生定制化整机柜服务器应用需求。在IT云建设过程中，由于业务需求增长快速，IT云资源池扩容压力较大，云资源池中的服务器数量快速递增，上线效率亟需提高。同时，传统通用服务器部署模式周期长、部署密度低的劣势，给数据中心空间、电力、建设成本和高效维护管理都带来了较大的挑战。整机柜服务器成为IT云建设的另一可选方案。

在节能方面，AI等高密度应用场景的快速发展，驱动液冷服务器成为热点。随着AI高密度业务应用的发展，未来数据中心服务器功率将从3kW~5kW向20kW甚至100kW以上规模发展，传统的风冷式服务器制冷系统解决方案已经无法满足制冷需求，液冷服务器成为AI应用场景下的有效解决方案。

GPU服务器技术发展态势及在电信业的应用

GPU服务器技术发展态势

GPU服务器是单指令、多数据处理架构，通过与CPU协同进行工作。从CPU和GPU之间的互联架构进行划分，GPU服务器又可分为基于传统PCIe架构的GPU服务器和基于NVLink架构的GPU服务器两类。GPU服务器具有通用性强、生态系统完善的显著优势，因此牢牢占据了AI基础架构市场的主导地位，国内外主流厂商均推出不同规格的GPU服务器。

GPU服务器在运营商IT云建设中的应用

当前，电信业开始推动GPU服务器在IT云资源池中的应用，省公司现网中已经部署了部分GPU服务器。同时，考虑到GPU成本较高，集团公司层面通过建设统一AI平台，集中化部署一批GPU服务器，形成AI资源优化配置。从技术选型来看，目前运营商IT云资源池采用英伟达、英特尔等厂商相关产品居多。

GPU服务器在IT云应用中取得了良好的效果。在现网部署的GPU服务器中，与训练和推理相关的深度学习应用占主要部分，占比超过70%，支撑的业务包括网络覆盖智能优化、用户智能定位、智能营销、智能稽核等，这些智能应用减少了人工投入成本，提升了工作效率。以智能稽核为例，以往无纸化业务单据的人工稽核平均耗时约48秒/单，而AI稽核平均耗时仅约5秒/单，稽核效率提升达 90%。同时，无纸化业务单据人工稽核成本约1.5元/单，采用GPU进行AI稽核成本约0.048元/单，稽核成本降低达96.8%。

整机柜服务器发展态势及在电信业的应用

整机柜服务器技术发展态势

整机柜服务器是按照模块化设计思路打造的服务器解决方案，系统架构由机柜、网络、供电、服务器节点、集中散热、集中管理6个子系统组成，是对数据中心服务器设计技术的一次根本性变革。整机柜服务器将供电单元、散热单元池化，通过节约空间来提高部署密度，其部署密度通常可以翻倍。集中供电和散热的设计，使整机柜服务器仅需配置传统机柜式服务器10%的电源数量就可满足供电需要，电源效率可以提升10%以上，且单台服务器的能耗可降低5%。

整机柜服务器在运营商IT云建设中的应用

国内运营商在IT云建设中已经推进了整机柜服务器部署，经过实际应用检验，在如下方面优势明显。

一是工厂预制，交付工时大幅缩短。传统服务器交付效率低，采用整机柜服务器将原来在数据中心现场进行的服务器拆包、上架、布线等工作转移到工厂完成，部署的颗粒度从1台上升到几十台，交付效率大大提升。以一次性交付1500台服务器为例，交付工作量可减少170~210人天，按每天配10人计算，现场交付时间可节省约17~21天。

二是资源池化带来部件数量降低，故障率大幅下降。整机柜服务器通过将供电、制冷等部件资源池化，大幅减少了部件数量，带来故障率的大幅降低。图1比较了32节点整机柜服务器与传统1U、2U服务器机型各自的电源部件数量及在一年内的月度故障率情况。由于32节点整机柜服务器含10个电源部件，而32台1U通用服务器的电源部件为64个，相较而言，整机柜电源部件数减少84.4%。由于电源部件数量的降低，32节点整机柜服务器相对于32台1U通用服务器的月度故障率也大幅缩减。

三是运维效率提升60%以上。整机柜服务器在工厂预制机柜布线，网络线缆在工厂经过预处理，线缆长度精确匹配，理线简洁，接线方式统一规范，配合运维标签，在运维中可以更方便简洁地对节点实施维护操作，有效降低运维误操作，提升运维效率60%以上，并大幅减少发生故障后的故障恢复时间。

液冷服务器技术发展态势及在电信业的应用

液冷服务器技术发展态势

液冷服务器技术也称为服务器芯片液体冷却技术，采用特种或经特殊处理的液体，直接或近距离间接换热冷却芯片或者IT整体设备，具体包括冷板式冷却、浸没式冷却和喷淋式冷却3种形态。液冷服务器可以针对CPU热岛精确定点冷却，精确控制制冷分配，能真正将高密度部署带到前所未有的更高层级（例如20kW~100kW高密度数据中心），是数据中心节能技术的发展方向之一，3种液冷技术对比如表1所示。

液冷服务器在运营商IT建设中的应用

液冷服务器技术目前在我国仍处于应用初期，产业链尚不完备、设备采购成本偏高、采购渠道少、电子元器件的兼容性低、液冷服务器专用冷却液成本高等问题是液冷服务器尚未大规模推广的重要原因。从液冷服务器在运营商数据中心领域的具体应用案例来看，运营商在IT云资源池规划和建设过程中，通常会对液冷服务器的发展现状、技术成熟度等进行分析论证。

考虑到目前液冷服务器规模化应用尚处于起步阶段，需要3~5年的引入期，因此暂时未在IT云资源池建设中进行大规模落地部署，但在部分地区有小规模应用，如中国移动南方基地数据中心已经开展液冷服务器试点应用，中国联通研究院也在开展边缘数据中心服务器喷淋式液冷系统的开发。未来，随着IT云建设规模、建设密度的继续攀升，以及液冷产业生态体系的逐步成熟，液冷服务器在IT云建设中将有更大的应用空间。

总体来看，运营商IT云资源池建设对服务器计算性能、延迟、吞吐、制冷、定制化、分布式部署等方面都提出了更高要求。未来，GPU服务器、定制化整机柜服务器、液冷服务器等新兴服务器技术将快速迭代，为运营商数据中心服务器技术的发展和演进带来新的思路和路径。

调高数据中心温度

为保证数据中心里设备的良好运行，数据中心内全年保持恒温恒湿，温度维持在20℃~24℃。国际标准要求平均温度是，冬季在18℃~22℃，夏季在21℃~25℃，温度的变化率下于5℃/h.温度对于数据中心非常重要，按照通用的评估方法，温度每提高10℃，可靠性要下降25%.数据中心这样常年保持在较低的温度虽然可以最大程度保障无局部热点，但是却造成了能源的极大浪费。现在的数据中心设备都会做高低温实验，工作温度上限可达45℃，所以适当地提升数据中心的运行温度，不仅可以节约能源，而且并不会给增加设备的故障率。目前，在数据中心行业提升数据中心的运行温度已经成为了普遍共识，有些数据中心专门采购耐温的设备，降低数据中心的能源消耗。综合来看，适当提升数据中心运行温度不用多花一分钱，而且利大于弊。

评估数据中心设备运行情况

数据中心里的设备多种多样，其中不乏有老旧设备，过老的服务器其工作效率只有新服务器的1/3，但是能耗却能达到新服务器的3倍，所以要及时淘汰掉这些老旧设备，将业务搬移到其它服务器上，虽然增加了其它服务器的一些负担，但整体能耗却降低了。还有不少的数据中心，存在有大量的闲置服务器，可能周期性的运行一些应用，但长时间处于闲置，这就要将其关闭或者重新分配工作任务，要周期性的对数据中心设备的运行负载情况进行评估，有不合理的、偷闲的设备就要及时调整。评估的标准是这些设备的CPU是否运行在正常的水平，有的设备长期CPU利用率只有20%，利用率过低，应该及时调整，一般服务器的CPU维持在50%左右就可以，可以保证正常业务的运行。

虚拟化技术的应用

在数据中心通过部署虚拟化可以提升设备的使用效率，一般一个服务器只能跑一个业务或者几个业务，通过虚拟化技术，将服务器虚拟成多台设备，这些设备都独立运行，提升了服务器的使用率，这样就可以减少数据中心同时运行的服务器数量，当需要增加新的业务时再开启一些服务器。一般的服务器运行功率都在400瓦左右，这样的服务器连续运行一天就会用掉十几度的电，虚拟化能在计划范围内针对低利用率或者高能耗对症下药。

及时关闭不必要的用电设备

大多数的数据中心都是通过远程进行管理，进入到数据中心设备区的情况比较少，而我们进入数据中心机房时经常会发现，灯火通明，而这些机房几天也可能不会进来一个人。大量的照明灯不仅造成能源的浪费，而且会增加机房的温度。

机柜是数据中心机房的一个重要组成部分，机柜的作用就是方便安装固定服务器和IT等设备，且给这些设备提供方便且美观的布线系统，同时还能提供安全保护等等。

一个数据中心机柜能放多少服务器是取决于多方便因素，例如一个数据中心采用的是42U高的标准机柜，而采用的是2U高550W的服务器。可以采用下面两种方案：

一：如果按照按安装空间来放置服务器，那么一个机柜最多能放置的服务器数量为42U/2U=21（台）。

二：考虑到运行环境的维护方面的问题，比如温度不能太高，为了方便保持服务器的运行环境，方便服务器的制冷，建议一个机柜的总功率不要超过10KW。

按照这个总功率的限制来计算一个机柜的服务器安装数量就为

10*1000W/550W=18（台）。

10KW总功率的机柜是高热密度的布置方式，对制冷要求很高，所以如果空间允许一般不建议放置那么高热密度的机柜，一般建议总功率3KW-6KW的机柜放置方案（3KW的较多），如果是3KW的话，那么一个机柜的服务器安装数量就是3*1000W/550W=5（台）。

---