服务器的黑科技：服务器是怎么做到每年只停机30秒的？

关键业务服务器对可靠性要求非常严格，调研机构曾调查过不同行业，关键业务中断服务带来的金钱损失：服务器宕机1分钟，平均会使运输业损失15万美元，银行业损失27万美元，通信业损失35万美元，制造业损失42万美元，证券业损失45万美元。而根据ITIC最新2018年底统计，1小时停机损失：

前些年关键业务服务器的金标准是要做到5个9，现在已经要求6个9，甚至7个9。他们是什么意思呢？

X个9，表示在1年时间的使用过程中，服务器可以正常使用时间与总时间（1年）的比值。

5个9：(1-99.999%)*365*24*60=5.26分钟，表示1年非计划停机时间不超过5.26分钟。

6个9：(1-99.9999%)*365*24*60*60=31.5秒，表示1年非计划停机时间不超过30秒。

7个9：(1-99.99999%)*365*24*60*60=3.15秒，表示1年非计划停机时间不超过3秒。

ITIC统计2018年80%的企业最低要求4个9，可靠性要求增长非常迅速：

服务器能够做到这么短的非计划停机时间，除了在操作系统上要求严格外，硬件上的保证是重中之重。服务器的RAS(Reliability， Availability，Serviceability 高可靠性、高可用性、高服务性)特性（feature）曾经是大型机的骄傲，也是它们高高在上身价的基础，但随着X86在RAS功能上的补足，服务器市场已经几乎被X86服务器占据。关键业务服务器由于 历史 和维护原因，还有部分市场份额不在X86的掌控之中，但非X86高可靠性的神话已经破灭。根据ITIC统计：

X86服务器不但占据绝大部分，而且可靠性也仅仅比Power 服务器低一点点。

那么这些RAS功能都是些什么呢？绝对不是焚香祷告哦

而是实打实的硬功夫！RAS的根本在于提供硬件冗余来避免错误；出错后及时发现、纠正和避免错误扩散；替换掉出错的设备等等。下面我们来分别了解一下。

对计算机比较了解的同学都知道磁盘的RAID模式，RAID提供了数据冗余来保证数据安全。当然RAID是服务器上的必备要求，但你知道吗，内存也有同样的模式，那就是内存镜像（Memory Mirror）。内存镜像将4个通道的内存成对存储相同的数据，类似磁盘的RAID 1，内存的数据在硬件上就被保存了两份，当一份损坏时还有备份，而更妙的是这些是对软件透明的。

这个冗余度和RAID1一样是很大的，一半的资源在大部分情况下闲置了，在提高可靠性的同时浪费也十分严重，有没有稍微省钱点的做法呢？当然有，那就是内存备用(Memory Sparing)，简单来说就是保留了部分内存，当出错再把这些内存拿来顶上。它的颗粒度可以到DIMM甚至以Rank为单位。

大家知道1位奇偶校验码可以发现1位的错误，但不能纠正，对于2位以上连发现都发现不了。ECC好一些，但对于很多位错误就无能为力了。SDDC （Single Device Data Correction,单设备数据校正 ）可以纠正X4的单设备错误：

SDDC+1不但可以纠正X4的内存错误，还可以把出错的颗粒替换掉，让它下次不再出错：

DDDC（Double Device Data Correction ）可以和Lockstep一起，将两个DIMM拼拼，纠正两个X4颗粒的错误：

DDDC+1和ADDDC(Adaptive Double Device Data Correction)这里就不再介绍，有兴趣的可以自行Google。

这些都是内存访问的时候发现错误了如何处理，但是还有些错误可能发生在没有访问的区域，这些区域错误不加处理，积少成多，可能超过DDDC的纠错能力。这就需要Patrol Memory Scrubbing的帮助了。它会像高速巡警一样，借助一个特殊的引擎，帮助定期扫描内存的可能出现的错误。Demand Scrubbing会把发现错误的数据，纠正后写回去，避免错误积累。

我曾经有过两篇文章介绍出错的问题：

计算机硬件出错了会发生什么？​

WHEA原理和架构​

大家感兴趣可以翻翻前面的文章。

作为服务器必备的功能，WHEA会把错误向操作系统报告，操作系统可以选择做出相应的动作。BIOS还可以设置poison位来标定出错的范围。

硬件发生了错误，即使已经通过各种手段（SDDC等）得到纠正，但隐患已经埋下。硬件一旦发生错误，可能会越来越严重，慢慢变得不能够纠正而变成严重错误。为了避免发生这种情况，需要把出错的设备移除和替换。

那么操作系统报告给管理员错误后，该怎么办呢？按照一般的想法就是关机换设备吧。但这种操作是严重影响x个9的可用性数据的。必须在操作系统还在持续提供服务的情况下更换设备、内存甚至CPU！

也许你听说过PCIe设备的热插拔，但内存和CPU的热插拔就比较高冷了。CPU和内存热插拔和PCIe类似，有个attention开关。在按下后，BIOS、操作系统和硬件会合作把设备周边电路隔离、内核对象移除和变更，在完成后会有状态指示灯显示准备工作结束，可以动手移除了。CPU和内存插入和这个相反，但都要BIOS、操作系统和硬件支持，十分复杂，但整个操作下来也十分炫酷。

6个9甚至7个9是个系统工程，需要整体上考虑。除了这些RAS功能之外，服务器硬件如磁盘驱动器等等也与民用不同，十分昂贵。

这些功能整体推高了服务器的价格，Google、FB、亚马逊和阿里等等大型云服务公司决定另辟蹊径，从操作系统级别的软件冗余来解决系统X个9的可靠性问题，这样一台服务器出错，直接整台offline，而不是CPU或者内存的更换。于此同时另外2到3台服务器还在持续提供服务，服务不会中断。

但是大型关键部门如银行电信等，还在借助传统的RAS来保证系统的可靠性。

蓝海大脑是AI与HPC基础架构解决方案提供商，主营液冷GPU服务器、水冷工作站_GPU深度学习服务器、高性能服务器、显卡服务器、计算服务器、水冷服务器、边缘一体机等产品适用于深度学习训练及推理等场景。结合人工智能、高性能计算、数据分析、云平台、分布式存储等技术，适用于深度学习、HPC、3D渲染、数据科学、医药研发、生命科学、小分子分析、机器学习、视觉识别等领域。【感兴趣的话点击此处，免费了解一下】

蓝海大脑作为NVIDIA英伟达的合作伙伴，一直专注于人工智能、大数据_数据挖掘、生命医药等领域，提供深度学习、高性能计算、虚拟化、分布式存储、AI集群管理、嵌入式平台等产品和整体解决方案，一直与众多高等院校人工智能学院和AI企业都保持十分紧密的合作关系，产品应用于深度学习、自动驾驶、视频编解码、视觉识别、智能教学、高性能计算实验室、高性能计算数据中心、大分子动力学，基因分析、医药研发、行为识别、生物分子研究、虚拟仿真、数字孪生等场景。

亿万克服务器搭载最新X86架构的高性能可扩展处理器，具备多核心超线程技术，支持DDR4、PCIe4.0等最新技术标准，提供完整的BMC管理功能，BIOS集成E VOC专利技术BPI，使服务器拥有超高的处理性能。

蓝海大脑的液冷服务器 HD210 H系列突破传统风冷散热模式，采用风冷和液冷混合散热模式——服务器内主要热源 CPU 利用液冷冷板进行冷却_其余热源仍采用风冷方式进行冷却。通过这种混合制冷方式，可大幅提升服务器散热效率，同时，降低主要热源 CPU 散热所耗电能，并增强服务器可靠性。经检测，采用液冷服务器配套基础设施解决方案的数据中心年均 PUE 值可降低至 1.2 以下，非常适合高性能计算应用。

液冷散热可提高散热密度、节能减排、降低数据中心的碳足迹，开展数据中心液冷技术的应用研究具有积极的科学意义。本文详细介绍了应用于数据中心的不同液冷技术及其冷却液。从冷却温度、节能效率、热回收性能3个方面对近年来国内外数据中心液冷技术的应用研究进展进行了综述，结果表明液冷技术冷却温度高，节能效果明显，具有优秀的热回收性能。【感兴趣的话点击此处，了解一下】

---