云计算核心技术有:虚拟化、分布式文件系统、分布式数据库、资源管理技术、能耗管理技术、信息安全等。
虚拟化是云计算最重要的核心技术之一,它为云计算服务提供基础架构层面的支撑,是ICT服务快速走向云计算的最主要驱动力。很多人对云计算和虚拟化的认识都存在误区,认为云计算就是虚拟化。
但实际上虚拟化只是云计算的重要组成部分,但不能代表全部的云计算。虚拟化的最大好处是增强系统的弹性和灵活性,降低成本、改进服务、提高资源利用效率。从表现形式上看,虚拟化又分两种应用模式。
一是将一台性能强大的服务器虚拟成多个独立的小服务器,服务不同的用户。二是将多个服务器虚拟成一个强大的服务器,完成特定的功能。这两种模式的核心都是统一管理,动态分配资源,提高资源利用率。在云计算中,这两种模式都有比较多的应用。
分布式数据存储技术,通过将数据存储在不同的物理设备中, 能实现动态负载均衡、故障节点自动接管、具有高可靠性,高可用性、高可扩展。
因为在多节点的并发执行环境中,各个节点的状态需要同步,并且在单个节点出现故障时,系统需要有效的机制保证其它节点不受影响。这种模式不仅摆脱了硬件设备的限制,同时扩展性更好,能够快速响应用户需求的变化。
利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
云计算系统运用了许多技术,其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术最为关键。(1)编程模型
MapReduce是Google开发的java、Python、C++编程模型,它是一种简化的分布式编程模型和高效的任务调度模型,用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式,先通过Map程序将数据切割成不相关的区块,分配(调度)给大量计算机处理,达到分布式运算的效果,再通过Reduce程序将结果汇整输出。
(2) 海量数据分布存储技术
云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。
GFS即Google文件系统(Google File System),是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统,是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。
一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成,并被许多客户(Client)访问。主服务器存储文件系统所以的元数据,包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动,如块租约(lease)管理,孤儿块的垃圾收集,块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信,给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储,每份数据在系统中保存3个以上备份。
客户与主服务器的交换只限于对元数据的操作,所有数据方面的通信都直接和块服务器联系,这大大提高了系统的效率,防止主服务器负载过重。
(3) 海量数据管理技术
云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。
BT是建立在GFS, Scheduler, Lock Service和MapReduce之上的一个大型的分布式数据库,与传统的关系数据库不同,它把所有数据都作为对象来处理,形成一个巨大的表格,用来分布存储大规模结构化数据。
Google的很多项目使用BT来存储数据,包括网页查询,Google earth和Google金融。这些应用程序对BT的要求各不相同:数据大小(从URL到网页到卫星图象)不同,反应速度不同(从后端的大批处理到实时数据服务)。对于不同的要求,BT都成功的提供了灵活高效的服务。
(4)虚拟化技术
通过虚拟化技术可实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等,计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。
(5)云计算平台管理技术
云计算资源规模庞大,服务器数量众多并分布在不同的地点,同时运行着数百种应用,如何有效的管理这些服务器,保证整个系统提供不间断的服务是巨大的挑战。
云计算系统的平台管理技术能够使大量的服务器协同工作,方便的进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可靠运营。
我是从IT号外知道的。
一种用于存储、保护、管理和访问数字数据和文件的服务器称为存储服务器。它支持通过共享网络或互联网存储和访问少量和大量数据。存储服务器不如标准服务器强大。在电力不足的地方,它弥补了更多的存储空间、存储访问接口和专门的数据管理和检索实用程序。它构成了直接附加存储(DAS)、网络附加存储(NAS)等存储网络技术的核心。存储服务器也称为文件服务器。此类服务器的主要用途是存储计算机文件,如照片、波形文件、电影等。在连接到公共网络的计算机之间。文件服务器不为客户端执行计算任务或运行程序。服务器是围绕客户端-服务器方案设计的,其中客户端是使用存储的工作站。存储服务器类型
有两种类型的存储服务器:专用服务器和非专用服务器。专用服务器专门用作文件服务器,带有专门用于读取和写入文件和数据库的工作站。数据文件的存储是通过形成磁盘阵列来实现的。该技术旨在将多个磁盘驱动器作为一个单元一起运行。磁盘阵列具有缓存(比磁盘更快)以及高级存储可视化和 RAID。使用的磁盘阵列类型取决于存储网络。
一旦机器被配置并在网络上公开,用户就可以通过“映射”他们计算机上的驱动器来开始访问存储服务器上的可用存储空间。映射后,计算机的操作系统将存储服务器识别为附加驱动器。如果网络配置正确,所有计算机都将被授予直接从服务器创建、修改和执行文件的权限,同时为每台连接的计算机添加额外的共享存储空间。
存储服务器设计
牢记存储空间、访问速度、易于管理、预算、可恢复性和安全性,存储服务器的设计。不断变化的环境增加了新的硬件和技术以取代旧的,同时保持相同的兼容性和可访问性,从而进一步提高了设计的复杂性。供应商采用排队理论模型来管理峰值负载、吞吐量和响应时间。服务器还可以结合动态负载平衡系统方案,用于跨连接硬件的请求分布。
安全
文件服务器通常集成某种形式的系统安全性以限制特定用户或组的文件访问。在大型组织中,安全由目录服务处理,例如 openLDAP、Microsoft 的 Active Directory 或 Novell 的 eDirectory。 这些服务器设计为在分层计算环境中工作,其中用户、应用程序、文件和计算机被视为网络上不同但相关的实体,该网络根据组或用户的凭据授予访问权限。对于小型组织,身份验证直接在服务器上进行。但是,对于较大的组织,目录服务包括许多文件服务器,可能有数百个。
拥有存储服务器的优势
过去,大多数小公司不使用文件服务器,因为它的安装成本很高。相反,他们选择将所有重要文档存储在一个桌面上。这种做法的主要缺点是每次需要重要文档时,只能访问该桌面(您可以想象这种不便)。文件服务器的主要好处是它提供了存储文件的空间,这些空间可供连接到网络的所有计算机使用。当许多人需要访问同一个文件(不需要制作多个副本)时,它很有用。可以监视文件,因为它们都存储在一个位置。文件服务器可实现更好的数据管理,同时提供额外的安全性(存储的信息可以受密码保护)。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)