所谓集群就是,相同的事情多个人做,比如在上图分布式系统中, **商品服务 **被部署到一台机器上,但是如果在购物节时,请求太多,一台机器根本扛不住,这时我们也增加10台机器,这10台机器都部署 **商品服务, **这样由这10台机器就组成了商品服务集群,集群的初衷就是提高系统的吞吐量,另一个就是提高可用性,比如一台服务器挂了,不至于服务不可用。
[图片上传失败...(image-dc4d72-1607944513633)]
SOA 架构就是面向于服务的架构思想,本质上就是以服务为中心,把应用拆分为多个服务,抽离出可重用的服务,为每个服务的单独扩展和开发提高便利性。阿里的Dubbo 就是SOA服务架构的一种实现,事实上SOA并没有对服务间通信协议具体规定,可以RPC,可以HTTP。
微服务是一种SOA思想的延续,任然关注服务,但是强调是"微",微体现的是服务开发成分要低,职责要尽量单一,同时部署也要灵活方便。目前微服务是非常流行的一种软件架构,在Java生态中 SpringCloud就提供了微服务的全站解决方案。
分布式和集群都是从软件部署的角度描述,SOA与微服务是从软件的架构阐述。一个采用SpringCloud技术开发系统 必然是微服务,当然同时也是分布式系统,当然如果为了高可用,必定也采用集群。
百度词条里的解释是:负载均衡,英文叫Load Balance,意思就是将请求或者数据分摊到多个操作单元上进行执行,共同完成工作任务。它的目的就通过调度集群,达到最佳化资源使用,最大化吞吐率,最小化响应时间,避免单点过载的问题。
负载均衡可以根据网络协议的层数进行分类,我们这里以ISO模型为准,从下到上分为:
物理层,数据链路层,网络层,传输层,会话层,表示层,应用层。
当客户端发起请求,会经过层层的封装,发给服务器,服务器收到请求后经过层层的解析,获取到对应的内容。
二层负债均衡是基于数据链路层的负债均衡,即让负债均衡服务器和业务服务器绑定同一个虚拟IP(即VIP),客户端直接通过这个VIP进行请求,那么如何区分相同IP下的不同机器呢?没错,通过MAC物理地址,每台机器的MAC物理地址都不一样,当负载均衡服务器接收到请求之后,通过改写HTTP报文中以太网首部的MAC地址,按照某种算法将请求转发到目标机器上,实现负载均衡。
这种方式负载方式虽然控制粒度比较粗,但是优点是负载均衡服务器的压力会比较小,负载均衡服务器只负责请求的进入,不负责请求的响应(响应是有后端业务服务器直接响应给客户端),吞吐量会比较高。
三层负载均衡是基于网络层的负载均衡,通俗的说就是按照不同机器不同IP地址进行转发请求到不同的机器上。
这种方式虽然比二层负载多了一层,但从控制的颗粒度上看,并没有比二层负载均衡更有优势,并且,由于请求的进出都要经过负载均衡服务器,会对其造成比较大的压力,性能也比二层负载均衡要差。
四层负载均衡是基于传输层的负载均衡,传输层的代表协议就是TCP/UDP协议,除了包含IP之外,还有区分了端口号,通俗的说就是基于IP+端口号进行请求的转发。相对于上面两种,控制力度缩小到了端口,可以针对同一机器上的不用服务进行负载。
这一层以LVS为代表。
七层负载均衡是基于应用层的负载均衡,应用层的代表协议有HTTP,DNS等,可以根据请求的url进行转发负载,比起四层负载,会更加的灵活,所控制到的粒度也是最细的,使得整个网络更"智能化"。例如访问一个网站的用户流量,可以通过七层的方式,将对图片类的请求转发到特定的图片服务器并可以使用缓存技术;将对文字类的请求可以转发到特定的文字服务器并可以使用压缩技术。可以说功能是非常强大的负载。
这一层以Nginx为代表。
在普通的应用架构中,使用Nginx完全可以满足需求,对于一些大型应用,一般会采用DNS+LVS+Nginx的方式进行多层次负债均衡,以上这些说明都是基于软件层面的负载均衡,在一些超大型的应用中,还会在前面多加一层物理负载均衡,比如知名的F5。
负载均衡算法分为两类
一种是静态负载均衡,一种是动态负载均衡
1、轮询法
将请求按顺序轮流地分配到每个节点上,不关心每个节点实际的连接数和当前的系统负载。
优点:简单高效,易于水平扩展,每个节点满足字面意义上的均衡
缺点:没有考虑机器的性能问题,根据木桶最短木板理论,集群性能瓶颈更多的会受性能差的服务器影响
2、随机法
将请求随机分配到各个节点。由概率统计理论得知,随着客户端调用服务端的次数增多,其实际效果越来越接近于平均分配,也就是轮询的结果。
优缺点和轮询相似。
3、源地址哈希法
源地址哈希的思想是根据客户端的IP地址,通过哈希函数计算得到一个数值,用该数值对服务器节点数进行取模,得到的结果便是要访问节点序号。采用源地址哈希法进行负载均衡,同一IP地址的客户端,当后端服务器列表不变时,它每次都会落到到同一台服务器进行访问。
优点:相同的IP每次落在同一个节点,可以人为干预客户端请求方向,例如灰度发布
缺点:如果某个节点出现故障,会导致这个节点上的客户端无法使用,无法保证高可用。当某一用户成为热点用户,那么会有巨大的流量涌向这个节点,导致冷热分布不均衡,无法有效利用起集群的性能。所以当热点事件出现时,一般会将源地址哈希法切换成轮询法。
4、加权轮询法
不同的后端服务器可能机器的配置和当前系统的负载并不相同,因此它们的抗压能力也不相同。给配置高、负载低的机器配置更高的权重,让其处理更多的请;而配置低、负载高的机器,给其分配较低的权重,降低其系统负载,加权轮询能很好地处理这一问题,并将请求顺序且按照权重分配到后端。
加权轮询算法要生成一个服务器序列,该序列中包含n个服务器。n是所有服务器的权重之和。在该序列中,每个服务器的出现的次数,等于其权重值。并且,生成的序列中,服务器的分布应该尽可能的均匀。比如序列{a, a, a, a, a, b, c}中,前五个请求都会分配给服务器a,这就是一种不均匀的分配方法,更好的序列应该是:{a, a, b, a, c, a, a}。
优点:可以将不同机器的性能问题纳入到考量范围,集群性能最优最大化;
缺点:生产环境复杂多变,服务器抗压能力也无法精确估算,静态算法导致无法实时动态调整节点权重,只能粗糙优化。
5、加权随机法
与加权轮询法一样,加权随机法也根据后端机器的配置,系统的负载分配不同的权重。不同的是,它是按照权重随机请求后端服务器,而非顺序。
6、键值范围法
根据键的范围进行负债,比如0到10万的用户请求走第一个节点服务器,10万到20万的用户请求走第二个节点服务器……以此类推。
优点:容易水平扩展,随着用户量增加,可以增加节点而不影响旧数据
缺点:容易负债不均衡,比如新注册的用户活跃度高,旧用户活跃度低,那么压力就全在新增的服务节点上,旧服务节点性能浪费。而且也容易单点故障,无法满足高可用。
(注:以上所提到的单点故障,都可以用主从方式来解决,从节点监听主节点心跳,当发现主节点死亡,从节点切换成主节点顶替上去。这里可以思考一个问题,怎么设计集群主从可以最大程度上降低成本)
1、最小连接数法
根据每个节点当前的连接情况,动态地选取其中当前积压连接数最少的一个节点处理当前请求,尽可能地提高后端服务的利用效率,将请求合理地分流到每一台服务器。俗称闲的人不能闲着,大家一起动起来。
优点:动态,根据节点状况实时变化
缺点:提高了复杂度,每次连接断开需要进行计数
实现:将连接数的倒数当权重值
2、最快响应速度法
根据请求的响应时间,来动态调整每个节点的权重,将响应速度快的服务节点分配更多的请求,响应速度慢的服务节点分配更少的请求,俗称能者多劳,扶贫救弱。
优点:动态,实时变化,控制的粒度更细,跟灵敏
缺点:复杂度更高,每次需要计算请求的响应速度
实现:可以根据响应时间进行打分,计算权重
3、观察模式法
观察者模式是综合了最小连接数和最快响应度,同时考量这两个指标数,进行一个权重的分配。
还有哪些负载均衡的算法,或者有更好的想法或问题,欢迎留言交流!
分布式架构是软件系统
分布式系统存储是基于存储、服务器、数据库技术、容灾热备等技术的系统集成。
hps+ssan多节点+ibm6000服务器+Oraclerac是一套基于全闪存融合扩容hds的分布式存储系统。
在这个上面允许的xx云软件,是一个基于分布式架构的软件系统
人才少,需求量大是什么意思?
我基本上除了阿里王博士,和阿里超融合一体机的相关负责人,还没有见过听说过能一个人把整套分布式系统存储技术搞定的
所以你说的人才少是合理的
需求量大就存疑了.......
人家大厂研发好了,一般技术人员去实施运维就好了啊
以联想为例,他的超融合一体机研发,需求量大么...
哦,博士确实挺缺的....
分布式架构是软件系统
分布式系统存储是基于存储、服务器、数据库技术、容灾热备等技术的系统集成
数字经济时代,各个企业、个人都在生产数据,利用数据,数据也在 社会 中不断流动、循环,为这个时代创造着价值与机遇。尽管数据如此珍贵,但我们仍然会听到在集中式存储场景中,由于网络攻击、火灾、地震而造成数据故障、丢失等问题。
为了防止数据出现故障、数据丢失、服务器出错、数据无法恢复等情况,越来越多企业开始把集中存储转变为分布式存储。分布式存储,类似于“把鸡蛋放到不同的篮子里”,简单来说就是把一张照片或文件切碎并放在不同的存储服务器上,任何人都可以成为节点,任何人都可以成为中心,因此,无论数据中心发生数据丢失,数据存储都可以实现永久存储,只要存在存储服务器,就能恢复数据。
其实,分布式存储已经不是什么新鲜事物,而是经历了多年的积累和发展,用户对支撑的服务器需求也越来越明确:相比传统服务器,分布式存储需要更大存储容量,兼具性能的同时,还要更灵活的存储能力,专门的存储服务器应运而生。
存储服务器是随着互联网分布式存储架构迅速崛起而出现的一个服务器品类,随着大数据、视频、图片搜索等互联网创新应用的发展,适用于不同场景的存储服务器种类也越来越多。当前,不仅互联网运营商在大规模采购存储服务器,传统的企业和政府也在批量部署,用于视频、文件归档、邮件以及大数据分析等应用。
浪潮信息一直是存储服务器的主要供应商,今年4月浪潮信息发布了全新的M6系列服务器,其中就包含存储服务器子系列,包含2U24盘、4U46盘、4U60盘、4U106盘等一系列产品,覆盖冷存储、温存储以及视频分析等不同用户不同类型的应用场景。其中,NF5466M6就是一款4U46盘,兼顾高存储容量、强大计算性能和极致IO扩展能力的双路存储优化服务器,是分布式存储架构的不二之选。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)