实际上,内容分发布网络(CDN)是一种新型的网络构建方式,它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层;而从广义的角度, CDN代表了一种基于质量与秩序的网络服务模式。简单地说,内容发布网(CDN)是一个经策略性部署的整体系统,包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件,而内容管理和全局的网络流量管理(Traffic Management)是CDN的核心所在。通过用户就近性和服务器负载的判断,CDN确保内容以一种极为高效的方式为用户的请求提供服务。总的来说,内容服务基于缓存服务器,也称作代理缓存(Surrogate),它位于网络的边缘,距用户仅有”一跳”(Single Hop)之遥。同时,代理缓存是内容提供商源服务器(通常位于CDN服务提供商的数据中心)的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户,即内容供应商,向最终用户提供尽可能好的体验,而这些用户是不能容忍请求响应时间有任何延迟的。据统计,采用CDN技术,能处理整个网站页面的 70%~Array5%的内容访问量,减轻服务器的压力,提升了网站的性能和可扩展性。
与目前现有的内容发布模式相比较,CDN强调了网络在内容发布中的重要性。通过引入主动的内容管理层的和全局负载均衡,CDN从根本上区别于传统的内容发布模式。在传统的内容发布模式中,内容的发布由ICP的应用服务器完成,而网络只表现为一个透明的数据传输通道,这种透明性表现在网络的质量保证仅仅停留在数据包的层面,而不能根据内容对象的不同区分服务质量。此外,由于IP网的”尽力而为”的特性使得其质量保证是依靠在用户和应用服务器之间端到端地提供充分的、远大于实际所需的带宽通量来实现的。在这样的内容发布模式下,不仅大量宝贵的骨干带宽被占用,同时ICP的应用服务器的负载也变得非常重,而且不可预计。当发生一些热点事件和出现浪涌流量时,会产生局部热点效应,从而使应用服务器过载退出服务。这种基于中心的应用服务器的内容发布模式的另外一个缺陷在于个性化服务的缺失和对宽带服务价值链的扭曲,内容提供商承担了他们不该干也干不好的内容发布服务。
纵观整个宽带服务的价值链,内容提供商和用户位于整个价值链的两端,中间依靠网络服务提供商将其串接起来。随着互联网工业的成熟和商业模式的变革,在这条价值链上的角色越来越多也越来越细分。比如内容/应用的运营商、托管服务提供商、骨干网络服务提供商、接入服务提供商等等。在这一条价值链上的每一个角色都要分工合作、各司其职才能为客户提供良好的服务,从而带来多赢的局面。从内容与网络的结合模式上看,内容的发布已经走过了ICP的内容(应用)服务器和IDC这两个阶段。IDC的热潮也催生了托管服务提供商这一角色。但是,IDC并不能解决内容的有效发布问题。内容位于网络的中心并不能解决骨干带宽的占用和建立IP网络上的流量秩序。因此将内容推到网络的边缘,为用户提供就近性的边缘服务,从而保证服务的质量和整个网络上的访问秩序就成了一种显而易见的选择。而这就是内容发布网(CDN)服务模式。CDN的建立解决了困扰内容运营商的内容”集中与分散”的两难选择,无疑对于构建良好的互联网价值链是有价值的,也是不可或缺的最优网站加速服务。
CDN的应用
目前的CDN服务主要应用于证券、金融保险、ISP、ICP、网上交易、门户网站、大中型公司、网络教学等领域。另外在行业专网、互联网中都可以用到,甚至可以对局域网进行网络优化。利用CDN,这些网站无需投资昂贵的各类服务器、设立分站点,特别是流媒体信息的广泛应用、远程教学课件等消耗带宽资源多的媒体信息,应用CDN网络,把内容复制到网络的最边缘,使内容请求点和交付点之间的距离缩至最小,从而促进Web站点性能的提高,具有重要的意义。CDN 网络的建设主要有企业建设的CDN网络,为企业服务;IDC的CDN网络,主要服务于IDC和增值服务;网络运营上主建的CDN网络,主要提供内容推送服务;CDN网络服务商,专门建设的CDN用于做服务,用户通过与CDN机构进行合作,CDN负责信息传递工作,保证信息正常传输,维护传送网络,而网站只需要内容维护,不再需要考虑流量问题。
CDN能够为网络的快速、安全、稳定、可扩展等方面提供保障。
IDC建立CDN网络,IDC运营商一般需要有分布各地的多个IDC中心,服务对象是托管在IDC中心的客户,利用现有的网络资源,投资较少,容易建设。例如某IDC全国有10个机房,加入IDC的CDN网络,托管在一个节点的Web服务器,相当于有了10个镜像服务器,就近供客户访问。宽带城域网,域内网络速度很快,出城带宽一般就会瓶颈,为了体现城域网的高速体验,解决方案就是将Internet网上内容高速缓存到本地,将Cache部署在城域网各POP点上,这样形成高效有序的网络,用户仅一跳就能访问大部分的内容,这也是一种加速所有网站CDN的应用。
CDN的技术原理
在描述CDN的实现原理,让我们先看传统的未加缓存服务的访问过程,以便了解CDN缓存访问方式与未加缓存访问方式的差别:
由上图可见,用户访问未使用CDN缓存网站的过程为:
用户向浏览器提供要访问的域名;
浏览器调用域名解析函数库对域名进行解析,以得到此域名对应的IP地址;
浏览器使用所得到的IP地址,域名的服务主机发出数据访问请求;
浏览器根据域名主机返回的数据显示网页的内容。
通过以上四个步骤,浏览器完成从用户处接收用户要访问的域名到从域名服务主机处获取数据的整个过程。CDN网络是在用户和服务器之间增加Cache 层,如何将用户的请求引导到Cache上获得源服务器的数据,主要是通过接管DNS实现,下面让我们看看访问使用CDN缓存后的网站的过程:
通过上图,我们可以了解到,使用了CDN缓存后的网站的访问过程变为:
用户向浏览器提供要访问的域名;
浏览器调用域名解析库对域名进行解析,由于CDN对域名解析过程进行了调整,所以解析函数库一般得到的是该域名对应的CNAME记录,为了得到实际IP地址,浏览器需要再次对获得的CNAME域名进行解析以得到实际的IP地址;在此过程中,使用的全局负载均衡DNS解析,如根据地理位置信息解析对应的IP 地址,使得用户能就近访问。
此次解析得到CDN缓存服务器的IP地址,浏览器在得到实际的IP地址以后,向缓存服务器发出访问请求;
缓存服务器根据浏览器提供的要访问的域名,通过Cache内部专用DNS解析得到此域名的实际IP地址,再由缓存服务器向此实际IP地址提交访问请求;
缓存服务器从实际IP地址得得到内容以后,一方面在本地进行保存,以备以后使用,二方面把获取的数据返回给客户端,完成数据服务过程;
客户端得到由缓存服务器返回的数据以后显示出来并完成整个浏览的数据请求过程。 通过以上的分析我们可以得到,为了实现既要对普通用户透明(即加入缓存以后用户客户端无需进行任何设置,直接使用被加速网站原有的域名即可访问),又要在为指定的网站提供加速服务的同时降低对ICP的影响,只要修改整个访问过程中的域名解析部分,以实现透明的加速服务,下面是CDN网络实现的具体操作过程。
作为ICP,只需要把域名解释权交给CDN运营商,其他方面不需要进行任何的修改;操作时,ICP修改自己域名的解析记录,一般用cname方式指向CDN网络Cache服务器的地址。
作为CDN运营商,首先需要为ICP的域名提供公开的解析,为了实现sortlist,一般是把ICP的域名解释结果指向一个CNAME记录;
当需要进行sorlist时,CDN运营商可以利用DNS对CNAME指向的域名解析过程进行特殊处理,使DNS服务器在接收到客户端请求时可以根据客户端的IP地址,返回相同域名的不同IP地址;
由于从cname获得的IP地址,并且带有hostname信息,请求到达Cache之后,Cache必须知道源服务器的IP地址,所以在CDN运营商内部维护一个内部DNS服务器,用于解释用户所访问的域名的真实IP地址;
在维护内部DNS服务器时,还需要维护一台授权服务器,控制哪些域名可以进行缓存,而哪些又不进行缓存,以免发生开放代理的情况。
CDN的网络架构
CDN网络架构主要由两大部分,分为中心和边缘两部分,中心指CDN网管中心和DNS重定向解析中心,负责全局负载均衡,设备系统安装在管理中心机房,边缘主要指异地节点,CDN分发的载体,主要由Cache和负载均衡器等组成。
当用户访问加入CDN服务的网站时,域名解析请求将最终交给全局负载均衡DNS进行处理。全局负载均衡DNS通过一组预先定义好的策略,将当时最接近用户的节点地址提供给用户,使用户能够得到快速的服务。同时,它还与分布在世界各地的所有CDNC节点保持通信,搜集各节点的通信状态,确保不将用户的请求分配到不可用的CDN节点上,实际上是通过DNS做全局负载均衡。
对于普通的Internet用户来讲,每个CDN节点就相当于一个放置在它周围的WEB。通过全局负载均衡DNS的控制,用户的请求被透明地指向离他最近的节点,节点中CDN服务器会像网站的原始服务器一样,响应用户的请求。由于它离用户更近,因而响应时间必然更快。
每个CDN节点由两部分组成:负载均衡设备和高速缓存服务器
负载均衡设备负责每个节点中各个Cache的负载均衡,保证节点的工作效率;同时,负载均衡设备还负责收集节点与周围环境的信息,保持与全局负载DNS的通信,实现整个系统的负载均衡。
高速缓存服务器(Cache)负责存储客户网站的大量信息,就像一个靠近用户的网站服务器一样响应本地用户的访问请求。
CDN的管理系统是整个系统能够正常运转的保证。它不仅能对系统中的各个子系统和设备进行实时监控,对各种故障产生相应的告警,还可以实时监测到系统中总的流量和各节点的流量,并保存在系统的数据库中,使网管人员能够方便地进行进一步分析。通过完善的网管系统,用户可以对系统配置进行修改。
理论上,最简单的CDN网络有一个负责全局负载均衡的DNS和各节点一台Cache,即可运行。DNS支持根据用户源IP地址解析不同的IP,实现就近访问。为了保证高可用性等,需要监视各节点的流量、健康状况等。一个节点的单台Cache承载数量不够时,才需要多台Cache,多台Cache同时工作,才需要负载均衡器,使Cache群协同工作。
城域网(Metropolitan Area Network),简称MAN,基于一种大型的LAN,通常使用与LAN相似的技术。之所以将MAN单独的列出的一个主要原因是已经有了一个标准:分布式队列双总线DQDB (Distributed Queue Dual Bus),即IEEE802.6。DQDB是由双总线构成,所有的计算机都连结在上面。所谓宽带城域网,就是在城市范围内,以IP和ATM电信技术为基础,以光纤作为传输媒介,集数据、语音、视频服务于一体的高带宽、多功能、多业务接入的的多媒体通信网络。
它能够满足政府机构、金融保险、大中小学校、公司企业等单位对高速率、高质量数据通信业务日益旺盛的需求,特别是快速发展起来的互联网用户群对宽带高速上网的需求。
长城宽带的IP城域网具有覆盖面广和灵活性的特点;适应网络新业务的开展,根据网络技术发展的方向选择相应的网络通信协议,保证网络业务的服务质量(QoS),为未来网络的进一步发展奠定基础。通过分布式的接入网络,合理控制接入网络的流量。根据网络的主要业务以及网络的层次化结构,合理设计各级网络的带宽分布。
三层网络构架
核心层:提供INTERNET出口,与国内外主要IP网络互联,与本地IDC、CDN
中心节点互联等。
汇聚层:作为IP城域网的区域性汇接点,合理控制及分布接入网络的流量,并提供与其他ISP、CDN分发节点、海量存储节点等互联。
接入层:提供各类小区、商业用户、IP-VPN、Wireless LAN等多种接入方式。
最近有一批涉嫌违规自建网络从事电信经营的企业将接到通信管理部门开出的巨额罚单,包括但不限于没收全部非法所得、处以经营额三倍至五倍的罚款。有些罚单可能是高达数亿的一个天文数字,疑似已有企业收到巨额的处罚意见告知书。
工信部于2017年发布《关于清理规范互联网网络接入服务市场的通知》(32号文),要求严厉打击骨干网、城域网违法自建等违规行为。此后更再发布282号文,明确列明诸多涉嫌违规企业,很多知名上市公司均榜上有名。
但是由于行动开展以来,鲜有被严重处罚的案例,很多企业仍然在观望,尤其是城域网领域的违规建设,仍然开展的如火如荼。
据说此次的处罚由工信部信管局某高层直接在各地管局督阵查处,或将涉嫌违规自建名单内企业全面清查处罚。如果能够通过此次整顿,彻底清理网络通信设施服务及互联网数据传送市场秩序,对于未来中国电信市场的健康发展无疑是非常有利的。只是不知道有多少企业能扛得住4倍营收罚款(没收加上至少3倍罚款)。
长期以来,大型互联网公司通过自建网络进行网络传输,虽说一定程度上推动了中国互联网产业的快速发展,推动了国家“提速降费”目标的实现。但是这种不受监管的自建行为毕竟属于违规,不利于国家信息网络安全和产业的规范发展。如何将违规网络快速纳入合法监管,同时又不至于影响中国互联网产业发展,损害民众合法权益,确实是对监管部门领导智慧的考验。
重点违规方式
一、打着用户驻地网或宽带接入网的名义违规建设城域网或骨干网
用户驻地网(宽带用户驻地网)是指用户网络接口到用户终端之间的传输及线路等相关设施。用户驻地网是从用户驻地业务集中点到用户终端之间的传输及线路等相关设施。用户驻地可以是一个居民小区,也可以是一栋或相邻的多栋写字楼。
宽带接入网可以建设从用户端到网络接入服务器范围内的全部或部分有线通信网络设施,可以开展相应的网络元素出租、出售。试点企业上联互联网骨干网必须经由基础电信企业的城域网接入,不同地市的业务节点不得直连,租用的接入网络资源严禁再次转租转售。
不管是持有用户驻地网还是宽带接入网试点牌照的企业,都禁止非法建设城域网和骨干网。
二、打着行业专网名义进行非法建设经营
一些企业利用公路、铁路及各类重大工程的建设机会,以建设行业专网名义私自建设网络对外出租出售经营。行业专网只能是企业内部使用,不得进行经营性使用,同样也不能在本行业内经营,收取本行业内其他企业费用。
目前能够合法从事城域网及骨干网网络设施服务的企业只有五家,即:中国电信、中国移动、中国联通、中国广电、中信网络。
http://www.cac.gov.cn/2017-01/23/c_1120366809.htm
工业和信息化部关于清理规范互联网网络接入服务市场的通知
各省、自治区、直辖市通信管理局,中国信息通信研究院,中国电信集团公司、中国移动通信集团公司、中国联合网络通信集团有限公司、中国广播电视网络有限公司、中信网络有限公司,各互联网数据中心业务经营者、互联网接入服务业务经营者、内容分发网络业务经营者:
近年来,网络信息技术日新月异,云计算、大数据等应用蓬勃发展,我国互联网网络接入服务市场面临难得的发展机遇,但无序发展的苗头也随之显现,亟须整治规范。为进一步规范市场秩序,强化网络信息安全管理,促进互联网行业健康有序发展,工业和信息化部决定自即日起至2018年3月31日,在全国范围内对互联网网络接入服务市场开展清理规范工作。现将有关事项通知如下:
一、目标任务
依法查处互联网数据中心(IDC)业务、互联网接入服务(ISP)业务和内容分发网络(CDN)业务市场存在的无证经营、超范围经营、“层层转租”等违法行为,切实落实企业主体责任,加强经营许可和接入资源的管理,强化网络信息安全管理,维护公平有序的市场秩序,促进行业健康发展。
二、工作重点
(一)加强资质管理,查处非法经营
1.各通信管理局要对本辖区内提供IDC、ISP、CDN业务的企业情况进行摸底调查,杜绝以下非法经营行为:
(1)无证经营。即企业未取得相应的电信业务经营许可证,在当地擅自开展IDC、ISP、CDN等业务。
(2)超地域范围经营。即企业持有相应的电信业务经营许可证,业务覆盖地域不包括本地区,却在当地部署IDC机房及服务器,开展ISP接入服务等。
(3)超业务范围经营。即企业持有电信业务经营许可证,但超出许可的业务种类在当地开展IDC、ISP、CDN等业务。
(4)转租转让经营许可证。即持有相应的电信业务经营许可证的企业,以技术合作等名义向无证企业非法经营电信业务提供资质或资源等的违规行为。
2.在《电信业务分类目录(2015年版)》实施前已持有IDC许可证的企业,若实际已开展互联网资源协作服务业务或CDN业务,应在2017年3月31日之前,向原发证机关书面承诺在2017年年底前达到相关经营许可要求,并取得相应业务的电信经营许可证。
未按期承诺的,自2017年4月1日起,应严格按照其经营许可证规定的业务范围开展经营活动,不得经营未经许可的相关业务。未按承诺如期取得相应电信业务经营许可的,自2018年1月1日起,不得经营该业务。
(二)严格资源管理,杜绝违规使用
各基础电信企业、互联网网络接入服务企业对网络基础设施和IP地址、带宽等网络接入资源的使用情况进行全面自查,切实整改以下问题:
1.网络接入资源管理不到位问题。各基础电信企业应加强线路资源管理,严格审核租用方资质和用途,不得向无相应电信业务经营许可的企业和个人提供用于经营IDC、ISP、CDN等业务的网络基础设施和IP地址、带宽等网络接入资源。
2.违规自建或使用非法资源问题。IDC、ISP、CDN企业不得私自建设通信传输设施,不得使用无相应电信业务经营许可资质的单位或个人提供的网络基础设施和IP地址、带宽等网络接入资源。
3.层层转租问题。IDC、ISP企业不得将其获取的IP地址、带宽等网络接入资源转租给其他企业,用于经营IDC、ISP等业务。
4.违规开展跨境业务问题。未经电信主管部门批准,不得自行建立或租用专线(含虚拟专用网络VPN)等其他信道开展跨境经营活动。基础电信企业向用户出租的国际专线,应集中建立用户档案,向用户明确使用用途仅供其内部办公专用,不得用于连接境内外的数据中心或业务平台开展电信业务经营活动。
(三)落实相关要求,夯实管理基础
贯彻落实《工业和信息化部关于进一步规范因特网数据中心(IDC)业务和因特网接入服务(ISP)业务市场准入工作的通告》(工信部电管函[2012]552号,以下简称《通告》)关于资金、人员、场地、设施、技术方案和信息安全管理的要求,强化事前、事中、事后全流程管理。
1.2012年12月1日前取得IDC、ISP许可证的企业,应参照《通告》关于资金、人员、场地、设施、技术方案和信息安全管理等方面的要求,建设相关系统,通过评测,并完成系统对接工作。
当前尚未达到相关要求的企业,应在2017年3月31日之前,向原发证机关书面承诺在2017年年底前达到相关要求,通过评测,并完成系统对接工作。未按期承诺或者未按承诺如期通过评测完成系统对接工作的,各通信管理局应当督促相应企业整改。
其中,各相关企业应按照《关于切实做好互联网信息安全管理系统建设与对接工作的通知》、《关于通报全国增值IDC/ISP企业互联网信息安全管理系统对接情况的函》和《互联网信息安全管理系统使用及运行管理办法(试行)》(工信厅网安〔2016〕135号)要求,按期完成互联网信息安全管理系统建设、测评及系统对接工作。未按期完成的,企业2017年电信业务经营许可证年检不予通过。
2.新申请IDC(互联网资源协作服务)业务经营许可证的企业需建设ICP/IP地址/域名信息备案系统、企业接入资源管理平台、信息安全管理系统,落实IDC机房运行安全和网络信息安全要求,并通过相关评测。
3.新申请CDN业务经营许可证的企业需建设ICP/IP地址/域名信息备案系统、企业接入资源管理平台、信息安全管理系统,落实网络信息安全要求,并通过相关评测。
4.现有持证IDC企业申请扩大业务覆盖范围或在原业务覆盖范围新增机房、业务节点的,需要在新增范围内达到《通告》关于IDC机房运行安全和网络信息安全管理的要求,并通过相关评测。
5.现有持证ISP(含网站接入)企业申请扩大业务覆盖范围的,需要在新增业务覆盖地区内达到《通告》关于网络信息安全管理的要求,并通过相关评测。
6.现有持证CDN企业申请扩大业务覆盖范围或在原业务覆盖范围增加带宽、业务节点的,需要在新增范围内达到《通告》关于网络信息安全管理的要求,并通过相关评测。
三、保障措施
(一)政策宣贯引导,做好咨询服务
各通信管理局要利用各种方式做好政策宣贯和解读工作,公布电话受理相关举报和解答企业问题咨询,引导企业按照要求合法开展经营活动。中国信息通信研究院要做好相关评测支撑工作,协助部和各通信管理局做好政策宣贯、举报受理、企业问题解答等工作。
(二)全面开展自查,自觉清理整顿
各基础电信企业集团公司要组织下属企业全面自查,统一业务规程和相关要求,从合同约束、用途复查、违规问责等全流程加强规范管理,严防各类接入资源违规使用;对存在问题的要立即予以改正,并追究相关负责人责任。
各IDC、ISP、CDN企业要落实主体责任,按照本通知要求全面自查清理,及时纠正各类违规行为,确保经营资质合法合规,网络设施和线路资源使用规范,加强各项管理系统建设并通过评测。
(三)加强监督检查,严查违规行为
各通信管理局加强对企业落实情况的监督检查,发现违规问题要督促企业及时整改,对拒不整改的企业要依法严肃查处;情节严重的,应在年检工作中认定为年检不合格,将其行为依法列入企业不良信用记录,经营许可证到期时依法不予续期,并且基础电信企业在与其开展合作、提供接入服务时应当重点考虑其信用记录。部将结合信访举报、舆情反映等情况适时组织开展监督抽查。
(四)完善退出机制,做好善后工作
对未达到相关许可要求或被列入因存在违规行为被列入不良信用记录的企业,不得继续发展新用户。发证机关督促相关企业在此期间按照《电信业务经营许可管理办法》有关规定做好用户善后工作。向发证机关提交经营许可证注销申请的,发证机关应依法注销该企业的IDC、ISP经营许可证。
(五)完善信用管理,加强人员培训
积极发挥第三方机构优势,研究建立IDC/ISP/CDN企业信用评价机制,从基础设施、服务质量、网络和信息安全保障能力等多维度综合评定,引导企业重视自身信用状况、完善管理制度建设、规范市场经营行为。各通信管理局要加强对相关从业人员的技能培训,不断提高从业人员的业务素质和能力水平。
四、工作要求
(一)提高认识,加强组织领导
开展互联网网络接入服务市场规范清理工作是加强互联网行业管理和基础管理的重要内容,对夯实管理基础、促进行业健康有序发展具有重要意义。各相关单位要指定相关领导牵头负责,加强组织保障,抓好贯彻落实。
各通信管理局、基础电信企业集团公司、互联网网络接入服务企业要落实责任,按照本通知要求,制定工作方案,明确任务分工、工作进度和责任,细化工作、责任到人,确保本次规范清理工作各项任务按期完成。
(三)加强沟通,定期总结通报
各通信管理局、各基础电信企业集团公司要加强沟通协作,及时总结工作经验,每季度末向部(信息通信管理局)报送工作进展情况,发生重大问题随时报部。部(信息通信管理局)将建立情况通报制度,并定期向社会公示规范清理工作进展情况。
工业和信息化部
2017年1月17日
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)