掏空大山、沉入海底？互联网大厂的服务器为什么要这么处理？

全球的互联网公司里最重要的莫过于它们的服务器，一旦服务器发生故障后果不堪设想，在我们的认知里这些公司的服务器一定是放在非常重要的地方。但其实全球很多公司的服务器存放的地方，可能令网友们大吃一惊， 例如微软的服务器是放在大海里，阿里巴巴将自家服务器放在了著名景区千岛湖的湖底，苹果的服务器则是放在了我国贵州，腾讯、华为同样将服务器放在贵州大山里。

2014年微软开始着手将服务器放置于水下的计划 ，同年开始在海里做投放实验，他们将300台电脑的服务器，放置进一个重约十七吨的密封舱内，该密封舱是全钢制的。而且密封舱内同时还装载着100多个传感器，岸上的工作人员随时可以通过这些传感器感知到水压和温度，便于及时发现并处理特殊情况，一切就绪后微软的团队将这个密封舱投入加州海岸的近海区。

第一次试验结束后，为证明海底数据中心是可行的， 2019年微软又进行了第二次海底数据试验， 这次的实验规模更大，装载的电脑服务器更多，一共有864台电脑服务器，相比较第一次的钢制密封罐，这次试用的密封设备更像一艘小型潜艇，它的长度超过十米，而这次的实验周期为期五年。

同样将服务器放在水里的还有阿里巴巴，阿里将自家服务器藏在了千岛湖里面，去过 旅游 的游客应该有听导游介绍过吧。服务器在运行过程中会散发大量热气，此时必须做好散热，不然可能会有烧坏的风险。而为了保护环境，减少碳排放，阿里便将服务器放在了湖底。千岛湖地区平均温度在18摄氏度左右，湖水更是能让数据中心节省8成以上的制冷能源。如此以来一年便可减少1万吨的碳排放

华为也有类似储存服务器的举动，与微软将服务器放进海下不同的是， 华为是将服务器存放在山洞里 。2017年时候华为在贵州贵安新区的七星湖数据中心，开始着手建立自己的服务器中心， 据悉，该数据中心第一期项目就已经有40万平方米，可以存放服务器约为60万个，华为在这里共存放了170多个的服务器。 这样大规模的项目几乎将一座山掏空，未来可能还会继续扩大规模。

为什么这些互联网公司，会将这么重要的服务器放在这些看似“不靠谱”的地方呢？特别服务器还非常怕水，微软不怕服务器进水吗？其实原因很简单，服务器怕水同样怕热，普通电脑机房的温度就会让人受不了，何况是这些互联网公司的数据中心。所以散热一直是让这些 科技 公司头疼的问题，特别是夏天，为这么庞大的服务器组织冷散热也是一笔很大的支出。

据相关数据表明，如华为微软这种大型互联网公司，每天为数据中心散热所需要的电力成本，就占所有成本的20%以上，其中又有40%以上是用于制冷消耗。 全球的互联网为公司的数据中心，每年用在为服务器散热的电量，是全球每年用电的2%。 这个数据已经非常庞大了，相当于一些国家一年的用电量了。所以如何更加节能减排为服务器散热，是许多互联网公司都在积极寻求的，微软使用的“水冷”就是一个很好的解决方案。

据微软表示将水下数据中心放进海底105天后，他们发现这个密封舱的温度会随着海水的流动而消散，目前效果还算不错，但密封舱附近的海水会有少许上升，约为正常海水温度的千分之一。不过要是大规模使用这种方式可能还有些困难，毕竟微软的数据中心可不止几百台电脑，而且放进海底维护起来可能也有诸多不便。

像华为选择把服务器存放在山洞中的方案，维护起来就更方便一点，唯一问题就是前期挖隧道需要一些投入。而且贵州气温受山地影响，常年温度都维持在20多度不冷不热，而且夏天的夜晚山里温度非常低，山洞内的温度就要更低一些。 另外，贵州的用电非常便宜，一度电仅0.35元左右，而且在贵州的水力发电非常成熟，可以减少火力发电的污染。

不仅是华为，例如苹果，腾讯也在这个地区有自己的数据中心，就连国家大数据中心也是在这个地方。这里存放着全球一半以上的国家管理数据，同时贵州也是全球最大的数据中心。另外，如亚马逊，360等公司，他们将数据中心存放于宁夏地区，目的也很简单，就是利用当地的自然气候达到为服务器降温的目的。

我们的研究表明，通过更加严格的管理，公司可以将数据中心的能效提高一倍，从而降低成本并减少温室气体的排放。具体而言，公司需要更积极地管理技术资产，提高现有服务器的利用率水平；公司还需要更准确地预测业务需求对应用程序、服务器和数据中心设施容量的推动效应，以便控制不必要的资本和运营支出。

数据中心的效率是一个战略问题。企业建造和运营数据中心花费的资金在公司IT预算中占的比例不断上升，导致用于急需技术项目的预算越来越少。数据中心建造计划是董事会一级的决策。同时，监管部门和外部利益相关方也越来越关注公司管理自身碳足迹的方式。采用最佳实践不仅有助于公司减少污染，还能够提高它们作为良好企业公民的形象。

IT成本高昂如今，公司进行的分析越来越复杂，客户要求实时访问账户，广大员工也在寻找新的技术密集型协作方法。因此，即使在经济放缓时，人们对于计算、存储和网络容量的需求也在继续增长。为了应对这一趋势，IT部门正不断增加计算资源。在美国，数据中心的服务器数量正在以每年约10%的速度增加。与此同时，在中国和印度等新兴市场，机构正在变得越来越复杂，更多的运营工作实现了自动化，同时有越来越多的外包数据业务在这里进行，因此数据中心的数量呈现出更快的增长态势。这种对计算资源无法抑制的需求，导致全球数据中心容量稳步上升。目前，这种增长并没有显露出即将结束的迹象，通常在经济衰退时期它只会进入温和增长状态。

这一增长已经导致了IT成本激增。如果将设施、存储设备、服务器和人员成本都计算在内，数据中心支出一般会占到企业IT总预算的25%。随着服务器数量不断增长，电价也正以高于收入和其他IT成本的速度攀升，上述比例只会日益提高。每年，运行这些设施的成本都在以高达20%的速度上升，而IT总支出的增长速度仅为6%，二者相差极为悬殊。

数据中心支出的不断增加，改变了许多企业的经济结构，尤其是金融、信息服务、媒体和电信公司等信息密集型企业。在过去5年中，成立一个大型企业数据中心所需的投资已经从1.5亿美元升至5亿美元。在IT密集型企业中，最大设施的造价正逼近10亿美元。这一支出挤占了新产品开发的资本，降低了某些数据密集型产品的经济效益，并降低了利润。此外，不断上升的能耗产生了更多、范围更广的碳足迹，导致了环境恶化。对于大多数服务行业，数据中心是企业最主要的温室气体排放来源。在2000到2006年间，用于存储和处理数据的电力翻倍，每个数据设施的平均耗电量相当于2.5万个家庭的总和。世界上共有4400万台服务器，消耗了总电力的0.5%。如今，数据中心的碳排放已经接近阿根廷和荷兰等国家的碳排放水平。仅仅在美国，到2010年数据中心的预计用电增长量就相当于要新建10座电厂的发电量。目前的预测显示，如果不对需求加以遏制，2020年全球数据中心的碳排放将是现在的4倍。

监管部门已经注意到这些发展趋势，正在督促公司拿出解决方案。美国环保署(EPA)建议，作为建立运营效率标准的第一步，大型数据中心应当使用能量计。同时，欧盟也发布了一套自愿执行的行为准则，其中介绍了以较高的能效运行数据中心的最佳实践。随着数据中心排放量的持续上升，政府可能会为了减排而施加更大的压力。

第2页：全面应对挑战全面应对挑战

在信息密集型机构中，许多部门和级别的人员都可以做出影响数据中心运营效率的决策。金融交易员可以选择运行复杂的蒙特卡洛(MonteCarlo)分析，而药物研究人员可以决定要将多少临床实验影像数据存储起来。负责应用程序开发的管理人员可以决定用多少编程工作来满足这些需要。服务器基础设施的管理人员可以做出设备采购决策。设施主管则可以决定数据中心的位置、电力供应，以及在预测的需求出现前安装设备的时间表。

上述决策通常是在孤立状态下做出的。销售经理可能会选择将交易由隔夜结算改为即时结算，金融分析师则可能希望为历史数据存储几份副本，他们完全没有考虑到这样做会对数据中心的成本造成什么影响。应用程序开发人员很少想到要对自身的工作进行优化，以将服务器用量降到最低，也很少考虑开发能够跨服务器共享的设计应用程序。购买服务器的管理人员可能会选择价格最低或他们最熟悉的产品。但是这些服务器也许会浪费数据中心的电力或空间。很多时候，管理人员会超额购买设备，以保证在最极端的使用情况下拥有足够的容量，而这会造成容量过剩。管理人员往往会建造有多余空间和高制冷容量的设施，以满足极端情况下的需求或应对紧急扩建。

这些决策在整个机构中累加起来，将对成本和环境造成重大影响。在许多情况下，公司可以在不降低自身数据管理能力的前提下，停用现有的部分服务器，并搁置购买新服务器的计划。这可以借助一些众所周知的技术来实现。比如虚拟化，这种技术实际上是通过寻找服务器的空闲部分来运行应用程序，以达到容量共享的目的。但是公司不一定会这样做，因为没有哪位高管能够承担“端对端”的责任。在机构内部，管理人员会以最符合自身利益的方式行事，这就造成大多数数据中心效率低下，每台服务器上常常只运行了一个软件应用程序。

我们分析了一家媒体公司的近500台服务器，其中利用率低于3%的占三分之一，而低于10%的则占三分之二。虽然有诸多用于跟踪使用情况的现成管理工具，但这家公司没有使用其中任何一种。从全球来看，我们估计服务器的日常利用率一般最高只有5%到10%而已，这造成了能源和资金的浪费。对此，数据中心管理人员一般会回答，配备这些服务器是为了在极端情况下提供容量，例如应付圣诞节前一天的购物潮。但一般来说，这一论断并不成立，因为数据显示：如果平均利用率极低，那么高峰时段的利用率也会很低。此外，数据设施的数量不断攀升，但所存放的服务器和相关设备有时仅占数据设施容量的一半，这说明有上亿美元的资本支出被浪费了。即使公司报告认为数据中心已经满载，但沿着数据中心的过道行走，经常会发现服务器机架上有很多空位，原先放在这些空位中的设备都已经淘汰。

之所以出现这种不一致的现象，部分原因在于预测数据中心需求的难度很高。运营的时间框架是一个问题。数据中心的设计和建造一般需要2年或更长时间，而预计的使用寿命至少为12年，因此容量是在业务部门产生实际需求之前就已经设定的。与此同时，对于业务决策如何互相影响，如何转化为对新应用程序的需求，以及需要多少服务器容量才能满足需求，还存在着认识不够全面的现象。例如，如果客户需求增长50%，许多公司很难预测出服务器和数据中心的容量是需要增加25%，还是增加100%。在极端情况下，我们发现一些设施在投入运营后常年处于半空状态；而另一些公司在建成一个数据中心之后，很快就发觉需要再建一个新的。

如今数据中心已经成为一项昂贵的资产，由此可以推断，财务绩效责任落实得十分糟糕。设施的财务和管理责任往往会落在不动产管理人员身上，而这些人基本不具备相关的专业技术知识，对于IT与核心业务问题的联系也缺乏深入的认识。同时，管理服务器运营的人员很少去了解关键运营支出的数据，例如耗电量或IT设备所占不动产的实际成本。相反，当IT管理人员决定购置更多的应用程序或新的服务器时，有时只会使用硬件初始成本和软件许可证费用等基本指标。计算实际成本时，需要考虑设施运营和租赁、电力使用、支持以及折旧等因素。这些费用可能是服务器初始购置成本的4到5倍。加上前面说到的孤立决策和责任问题，数据中心通常会添加额外的服务器作为保险措施，而很少讨论成本权衡或业务需求。在缺乏实际成本分析的情况下，过度建造、过度设计和效率低下就成了普遍现象。

第3页：改革运营方式改革运营方式

在研究之初，我们以为通过建造新的节能型数据中心，可为降低数据中心的成本和碳排放指出一条光明大道。新的设施可以发挥当前各种技术的优势，利用自然冷却方法和碳排放较低的电源。但我们还了解到，在降低成本和碳排放方面成效最显著的方法是改善公司现有数据中心效率低下的状况。通过改善资产管理，增强管理层的责任意识，并且为降低能源成本和碳排放设立清晰的目标，大多数公司都能够在2012年之前将IT能效提高一倍，并遏制其数据中心温室气体排放的增长。实际上，您无需另行建造就能获得最环保的数据中心。

积极管理资产

一家大型公司采用的做法表明，规范现有服务器和设施的使用就可能产生巨大的收益。这家公司原本的计划是，增加服务器的数量，并建造一个新的数据中心来容纳这些服务器和其他IT设备，以便满足自身在2010年的信息需求。该公司的董事会已经批准了这项计划，但这意味着企业在这一年会有大量的资本支出。于是，这家公司彻底修改了计划。它将关闭5000多台很少使用的服务器。通过对占公司应用程序总量15%的3700个应用程序进行虚拟化，可以将现役服务器的数量由2.5万台减少至2万台。公司还更换了一些较为陈旧的服务器，代之以能够将用电效率提高20%的产品。

这些调整使公司得以搁置原先的数据中心扩建计划，并因此节省了3.05亿美元的资本投资成本。由于服务器数量和耗电量的下降，运营支出预计将减少4500万美元，降低到7500万美元。考虑到停用和虚拟化因素，服务器运行时的平均容量利用率将由目前的5.6%升至9.1%。该公司仍然能够满足自身日益增长的数据需求，但是电力需求的减少，意味着未来4年内的二氧化碳排放将由59.1万吨削减至34.1万吨。

公司还可以通过对不断上升的数据需求加强管理来实现节约。对于应当保留多少数据，是否要缩减某些数据密集型分析的规模，业务部门应当审查相关的政策。一些交易的计算可以推迟，以降低服务器在高峰时段的利用率，也并不是所有企业信息都需要基于广泛备份的灾难恢复功能。

更好的预测和规划是提高数据中心效率的基础。公司应当跟踪自己对数据需求的预测与实际需求之间的差异，然后向能够最大限度减少预测偏差的业务部门提供奖励。数据中心的管理人员应尽可能全面了解未来的趋势，例如机构增长和业务周期等，然后将这一趋势与自身采用的模型结合起来。由数据中心、应用架构师和设施操作人员提供的建议可以用于改善这些模型。一家全球通信公司制定了一套规划流程，将每个业务部门数据增长量的各种发展情况包括在内。虽然公司最终得出的结论是，它需要扩大容量，但是未来需求中有很大一部分可通过现有资产来满足，这比原计划节约了35%的资本支出。

许多机构并没有将数据中心看作一种稀缺的昂贵资源，而是将其当成了等待注水的水桶。为了避免这种趋势，公司在估算新服务器或附加应用程序和数据的成本时，可以采用实际拥有成本(TCO)核算法。业务部门、软件开发人员或IT管理人员在进行支出决策时，很少会将应用程序和服务器的生命周期运行成本考虑在内。提早计算这些成本，有助于限制过量的需求。

管理这些变化可能十分困难。大型机构中的许多人并没有意识到数据的成本。企业的每一个部门都会产生对于数据中心服务的需求。满足这些需求的责任分散在IT部门(包括运营和应用开发)、设施规划人员、共享服务团队和企业不动产职能部门身上。成本报告工作并没有统一的标准。

第4页：提高总体效率提高总体效率

作为数据中心改进计划的一部分，我们建议采用一项新的指标：企业数据中心平均效率(CADE)。与美国的企业燃料平均经济性(CAFE)里程标准类似，CADE考虑了数据中心内的设施能效、设施利用率和服务器利用率水平。将这些因素综合起来，就得到了数据中心的总体效率，即CADE(图)。减少了成本和碳排放的公司将提高自身数据中心的CADE分数。这就像在汽车行业中，出色的里程数能够提高CAFE评级一样。

为了给改进工作设立目标，我们将CADE分为五级。属于CADE第1级的数据中心运营效率最低；大多数机构最初可能都会被归入较低的级别。关闭利用率低下的服务器、采用虚拟化技术以及提高设施空间的使用效率，都将提高CADE分数。借助CADE，公司还可以对整个数据中心的设施进行基准比较分析，或者与竞争对手进行比较，也可以为管理人员设立绩效目标并加以跟踪。

在数据中心的需求管理方面，我们建议采用一种由首席信息官全权负责的新治理模型。在这种体制下，首席信息官能够更为透彻地了解各业务部门的数据需求；对于需要更多服务器或软件应用的新数据项目，他们可以强制要求将能耗和设施成本考虑到相应的投资回报计算中。我们还建议首席信息官采用一种新的指标来衡量改进情况，请参见副文“提高数据中心的效率”。通过强化责任，首席信息官将拥有更高的积极性来寻求改进，例如采用虚拟化技术和提高现有设施的利用率。由于这种模型将关键业务决策的更多责任集中在首席信息官身上，因此不但需要首席执行官的全力支持，而且要求机构转变以往对于业务部门的数据中心扩容请求有求必应的思维模式。此外，首席信息官还应当设定将数据中心的能效提高

---