在新基建的浪潮中,腾讯、阿里等大厂纷纷投入千亿布局建造超大规模数据中心。大厂为了“养机”也动用了各种新技术。数据中心作为基础设施,之前 一直在底层无人问津,不过随着数字化的快速推进,数据中心的变化将更能体现新基建“基建+科技”的内涵。对于数据中心而言,进行技术创新,能够合理存储和处理数据,满足上层需求,支撑数字经济腾飞,才能实现其真正价值。
下一波技术创新的制高点随着大厂的建设提速,国内数据中心遍地开花。据中国产业信息网统计,2020年全球IDC处理的数据流量将达到15.3ZB,占全球产生的流量99.35%;从数据可知IDC主导着全球的数据流量处理。
现在数据中心向着空间集约化、单机大型化的方向发展。超大规模的大型数据中心在2019年末增至504个,还有151个处于不同建设阶段的数据中心。集约化的发展使得单体机房的利用率得以提升,有助于发挥规模效应,降低前期建设成本以及后期运营成本,对于大公司来说,头部效应会更加明显。
数据中心发展过程中的痛点1. 超大规模数据中心背后是惊人的耗电量。
服务器年功耗连续上升,机柜功率不足的老旧机房为了不掉电,以至于通过空置机位的办法来解决问题。这样不仅造成了空间的利用率低,也会造成电力利用率的下降,同时还形成不必要的浪费。据预测,2020年中国数据中心耗电量为2962亿千瓦时[3] ,超越三峡发电量,所以说解决能耗问题刻不容缓。
2. 数据中心安全运行指标与日俱增
数据中心需要完善的安全出入管理规定和消防系统、以及具备事故应急和人员安全应急流程制定的能力。保证所有基础设施正常运行的同时,还需要及时对所有设备进行维护和修理。
3. 令人崩溃的运维
半夜故障工单催人醒,处理不慎易进坑。日常巡检是数据中心运维过程中最重要的一环,通过运维人员日复一日,重复上千次抄表中保持警觉性发现设备存在的隐患。纯粹依靠人力并非行业发展所需,日常运维应借助合适的辅助工具,让有限的人力摆脱机械性的工作。
那么如何让数据中心做到绿色发展,智能规划,轻松运维?Hightopo 和国内其他公司都在积极的回答这个问题。
建立可视化的运维管理平台 痛点迎刃而解可视化重塑数据中心机房
针对数据中心系统复杂、多场景和动态性的特点。以 HTML5 的 WebGL 标准实现 3D 的图形渲染技术,以及基于浏览器内核嵌入到小程序实现更方便传播。并采用hightopo轻量架构使其支持跨平台展示,实现多端口海量数据的分析。
数据中心环境可视化
利用3D仿真技术,对机房内多种设备进行建模,对设备进行实时监控以及全生命周期维护。同样为了确保数据中心机房正常运转,运维系统也具备烟雾温湿监控、动力监控、门禁等监控功能,实时监测机房内部环境,及时发现存在的问题,可远程控制系统调控运行状态。
资产与能耗管理可视化
为了解决数据中心能耗过大的问题,系统对数据中心整体环境的年度用电量、机柜租用率、楼宇IT用电量、柴油发电机、电气容量等进行实时监控并提供相关历史数据,方便管理者进行节能调整。还支持对资产准确定位,记录设备型号和状态,确保机柜高使用率,避免资源浪费,细化运维能节省约20%的总运营成本。
可视化运维管理
通过可视化管理,改变数据中心的运维模式。管理者可通过线上监控系统了解设备健康状况,可远程查看机柜的检修记录、履历信息和历史故障,为评估设备安全提供了直观的数据基础。运维人员摆脱了机械性的工作,缓解运维压力。同时也对数据中心人员分配提供了人性化的方案。
迎接智能运维时代由于边缘计算和5G的大带宽所产生的巨额流量使得数据中心建设遍地开花,大规模且密集的IDC更需要精细、自动、可视化的管理。正如 Hightopo 所提供的数据中心机房可视化解决方案,帮助企业在能耗、运维、和人力资源上做到精细化管理,使其走向节能增效的发展道路。在数字经济腾飞的时代下,数据中心可视化改造更应未雨绸缪。
参考资料: 官网——Web组态
百度百科——图扑软件
IDC提供的主要业务包括主机托管(机位、机架、VIP机房出租)、资源出租(如虚拟主机业务、数据存储服务)、系统维护(系统配置、数据备份、故障排除服务)、管理服务(如带宽管理、流量分析、负载均衡、入侵检测、系统漏洞诊断),以及其他支撑、运行服务等。互联网数据中心(Internet Data Center)简称IDC。就是电信部门利用已有的互联网通信线路、带宽资源,建立标准化的电信专业级机房环境,为企业、政府提供服务器托管、租用以及相关增值等方面的全方位服务。即拥有服务器的公司把服务器放到数据中心,就是我们平常所说的服务器租用和托管以及 相关的其他业务。
idc机房就是互联网数据中心(Internet Data Center)简称IDC,就是电信部门利用已有的互联网通信线路、带宽资源,建立标准化的电信专业级机房环境,为企业、政府提供服务器托管、租用以及相关增值等方面的全方位服务。
通过使用电信的IDC服务器托管业务,企业或政府单位无需再建立自己的专门机房、铺设昂贵的通信线路,也无需高薪聘请网络工程师,即可解决自己使用互联网的许多专业需求。
IDC主机托管主要应用范围是网站发布、虚拟主机和电子商务等。比如网站发布,单位通过托管主机,从电信部门分配到互联网静态IP地址后,即可发布自己的www站点,将自己的产品或服务通过互联网广泛宣传;虚拟主机是单位通过托管主机,将自己主机的海量硬盘空间出租,为其他客户提供虚拟主机服务,使自己成为ICP服务提供商;电子商务是指单位通过托管主机,建立自己的电子商务系统,通过这个商业平台来为供应商、批发商、经销商和最终用户提供完善的服务。
IDC即互联网数据中心。它是伴随着互联网不断发展的需求而迅速发展起来的,成为了新世纪中国互联网产业中不可或缺的重要一环。它为互联网内容提供商(ICP)、企业、媒体和各类网站提供大规模、高质量、安全可靠的专业化服务器托管、空间租用、网络批发带宽以及ASP、EC等业务。
目前对IDC(互联网数据中心)还没有一个权威的定义,但它比传统的数据中心有着更深层次的内涵,它是伴随着互联网不断发展的需求而发展起来的对为ICP、企业、媒体和各类网站提供大规模、高质量、安全可靠的专业化服务器托管、空间租用、网络批发带宽以及ASP、EC等业务。数据中心在大型主机时代就已出现,那时是为了通过托管、外包或集中方式向企业提供大型主机的管理维护,以达到专业化管理和降低运行成本的目的。
IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所;是各种模式电子商务赖以安全运作的基础设施,也是支持企业及其商业联盟其分销商、供应商、客户等实施价值链管理的平台。
IDC有两个非常重要的显著特征:在网络中的位置和总的网络带宽容量,它构成了网络基础资源的一部分,就像骨干网、接入网一样,它提供了一种高端的数据传输(Data Delivery)的服务,提供高速接入的服务。
IDC的常见接入方式
1、双IP双线路实现方式
双IP双线路实现方式是指在一台服务器上安装两块网卡,分别接入电信网线与网通网线并设置一个网通IP与一个电信IP,这样一台服务器上就有了两个IP地址,需要在服务器上添加网通或电信的路由表来实现网通用户与电信用户分别从不同的线路访问。双IP双线路具有常用的两种使用方式:
1. ICP用户在网站设置两个IP地址不同的链接,网通用户点击网通IP访问服务器,电信用户点击电信IP访问。
2. 使用BIND9(DNS服务器软件)对不同的IP地址请求返回不同的服务器IP的功能来实现网通用户请求域名时返回网通的IP,电信用户请求域名时返回电信的IP,这个方式就是一些IDC提出的智能DNS的方案。
双IP双线路在一定程度上提高了网通与电信用户访问网站的速度,但缺点是由于服务器接入的是双网卡必须在服务器上进行路由表设置,这给普通用户增加了维护难度,并且所有的数据包都需要在服务器上进行路由判断然后再发往不同的网卡,当访问量较大时服务器资源占用很大。此方案是最简单的双线解决方案,一般限于规模较小的IDC提供商使用。
2、单IP双线路
普通的单IP双线路是指在服务器上设置一个IP,此IP是网通IP或是电信IP,通过路由设备设置数据包是通过是电信网络或是网通网络发出来实现的双线技术。此方案也可以提高网通用户与电信用户的访问速度,解决了双IP双线需要在服务器上设置路由的问题,但由于IP地址采用的是网通或电信的IP,访问用户在发送请求数据包时不会自动判别最好的路由。所以这种解决方案只能说是半双线的技术方案、是一种过渡形式的解决方案。此方案一般为单线IDC服务商往双线IDC服务商转型期所采用的临时方案。
用BGP协议实现的单IP双线路
BGP(边界网关协议)协议主要用于互联网AS(自治系统)之间的互联,BGP的最主要功能在于控制路由的传播和选择最好的路由。中国网通与中国电信都具有AS号(自治系统号),全国各大网络运营商多数都是通过BGP协议与自身的AS号来互联的。使用此方案来实现双线路需要在CNNIC(中国互联网信息中心)申请IDC自己的IP地址段和AS号,然后通过BGP协议将此段IP地址广播到网通、电信等其它的网络运营商,使用BGP协议互联后网通与电信的所有骨干路由设备将会判断到IDC机房IP段的最佳路由,以保证网通、电信用户的高速访问。
使用此方案具体以下优点:
1. 服务器只需要设置一个IP地址,最佳访问路由是由网络上的骨干路由器根据路由跳数与其它技术指标来确定的,不会占用服务器的任何系统资源。服务器的上行路由与下行路由都能选择最优的路径,所以能真正实现高速的单IP双线访问。
2. 由于BGP协议本身具有冗余备份、消除环路的特点,所以当IDC服务商有多条BGP互联线路时可以实现路由的相互备份,在一条线路出现故障时路由会自动切换到其它线路。
3. 使用BGP协议还可以使网络具有很强的扩展性可以将IDC网络与其他运营商互联,轻松实现单IP多线路,做到所有互联运营商的用户访问都很快。这个是双IP双线无法比拟的。
虽然BGP方案是最好的解决方案但由于此方案需要IDC提供商的设备投入与带宽投入方面较大并且技术上较为复杂,所以目前国内采用此方案仅限于实力较强的专业IDC服务商。
综上所述,以上各种双线实现的方式各有优缺点,双IP双线成本较低,但网络不够稳定并且占用大量的服务器资源,普通单IP双线路只是实现了部分双线路的效果所以访问速度不佳,CDN方式对静态网页效果很好但对交互性很强的网页效果不太理想,BGP单IP双线路解决了以上所有的问题是最好的实现方式但国内采用此种方案的IDC服务商较少,如果能将BGP单IP双线与CDN加速结合起来将会是最优的解决方案。
大数据是云计算的杀手锏应用大数据与云计算的关系,引起一些人的困惑。为了便于探讨二者的关系,这里从“计算”和“数据”的历史关系说起。因为云计算首先是一种“计算”,大数据首先是一种“数据”,而计算机就是用来“计算”“数据”的。
计算机是软件和硬件分离的,是一种软件定义的电子产品(可编程)。计算机设计中的一个重要问题是如何有效管理CPU、内存和I/O等硬件资源,以及如何让应用程序合理使用这些资源。这两大任务最早内嵌在各种应用程序中,由应用程序自身完成,缺点是费力、复杂和易错,难以升级和移植,而且重复工作。
上世纪60年代这些共性功能开始从应用中分离出来,逐步形成了一种通用的软件包,这就是操作系统。操作系统是位于硬件和应用程序之间的“中间件”,让应用软件和硬件得以分离并独立发展,发展成了最核心的计算机系统软件,也成就了微软公司的伟大。
以UNIX为始祖的常见现代操作系统有Android、BSD、iOS、Linux、 MacOSX、QNX等,以及原创的微软Windows、 Windows Phone和IBM的z/OS.操作系统的工作范围,也从最初的计算机蔓延到手机、游戏控制器、电视机顶盒、智能汽车和智能眼镜等,还有与云计算密切相关的Web服务器。
上世纪70年代,计算机的快速发展使得数字化数据爆发式增长,“海量”数据管理成了新挑战。把通用操作系统的文件管理用于数据管理时,无论是扩展性、效率和便利性,都不适应“海量”数据的管理需要,应用软件被迫内嵌自己设计的数据管理系统。同样的,“海量”数据管理由每个应用程序自身完成,缺点也是费力、复杂和易错,难以升级和移植,并且重复工作。
于是一种专门面向“海量”数据管理的通用软件问世了,那就是数据库管理系统(DBMS),一种应用系统软件。DBMS包括了数据库定义、创建、查询、更新和管理等功能,这些都是数据管理所必需的,是操作系统的文件管理系统所没有的。
著名的DBMS有 MySQL、 PostgreSQL、SQLite、Microsoft SQL Server、Microsoft Access、Oracle、Sybase、dBASE、FoxPro和IBM DB2等,都是关系型DBMS.当然还有非关系型No SQL模式的,只是没那么流行。
DBMS与字处理软件等一起,成为单机时代最重要的应用软件,也成就了一家伟大的应用软件公司Oracle.大约不足20年前,操作系统和数据库的技术和市场未来,看起来都那么可预知。一个是微软的天下,一个是Oracle的天下。
但互联网来了,尤其是Web开始流行。
Web服务器所使用的操作系统,最初面向单机设计,扩展用于局域网范围内管理多台服务器还勉强可用。但当互联网巨头崛起,需要Web服务器的操作系统管理数百万台Web服务器的时候,传统操作系统勉为其难,需要“技术革命”了。“革命”的结果就是云计算。
云计算大伞下有很多概念,核心技术之一是虚拟化。虚拟化有“1虚N”和“N虚1”两种模式,前者主要是为了省钱,以Amazon AWS为代表;后者主要是为了大数据处理,以Google GAE为代表。
云计算的“N虚1”模式,可将多台物理计算机虚拟化为一台超级计算机,向应用程序提供资源池的调度管理服务,与传统操作系统的功能几乎完全相同,因此常被称为“云计算操作系统”。只是云计算操作系统的工作范围,扩大到数据中心甚至整个互联网范围内,把每台计算机也当做资源看待和管理。
有了云计算操作系统,云应用软件和硬件(计算机资源)得以分离,各自可以独立发展。历史再次重演,云计算以及SNS、微博、移动互联网和物联网等的快速发展,具有3V特点的数据爆发,大数据管理的挑战也最先到来。同样,面向计算设计的通用云计算操作系统,在大数据管理方面的扩展性、效率和便利性,都面临新挑战。
历史上计算机面对“海量”数据的挑战,将数据应用和数据管理分离,催生了通用的DBMS.现在云计算面对大数据的挑战,也必将使大数据应用和大数据管理分离,催生“大数据库管理系统”,并且逐步走向通用化和平台化。
ATM(异步传输模式)是通信资源稀缺时代的产物,TCP/IP是通信资源富饶时代的产物。类似的,传统DBMS是IT资源稀缺时代的产物,大数据管理系统是IT资源富饶时代的产物。
计算是工具,可以工业化提供;数据是资源,是个性化的资产。如果说Office、游戏等是PC的杀手锏应用,浏览器、搜索、SNS等是互联网的杀手锏应用,那么大数据等就是云计算的杀手锏应用。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)