负载均衡是什么

负载均衡（Load Balance）其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。

负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。

负载均衡有三种部署方式：路由模式、桥接模式、服务直接返回模式。路由模式部署灵活，约60%的用户采用这种方式部署；桥接模式不改变现有的网络架构；服务直接返回（DSR）比较适合吞吐量大特别是内容分发的网络应用。约30%的用户采用这种模式。

扩展资料：

负载均衡的分类：

1、软件负载均衡解决方案是指在一台或多台服务器相应的操作系统上安装一个或多个附加软件来实现负载均衡，如DNS Load Balance，CheckPoint Firewall-1 ConnectControl等，它的优点是基于特定环境，配置简单，使用灵活，成本低廉，可以满足一般的负载均衡需求。

2、硬件负载均衡解决方案是直接在服务器和外部网络间安装负载均衡设备，这种设备通常称之为负载均衡器，由于专门的设备完成专门的任务，独立于操作系统，整体性能得到大量提高，加上多样化的负载均衡策略，智能化的流量管理，可达到最佳的负载均衡需求。

参考资料：百度百科-负载均衡

【负载均衡架构部分转自】 58沈剑 [架构师之路]( https://mp.weixin.qq.com/s

负载均衡： 是分布式系统架构设计中必须考虑的因素之一，它通常是指，将请求/数据【均匀】分摊到多个操作单元上执行，负载均衡的关键在于【均匀】

常见的负载均衡方案：

【客户端层】到【反向代理层】的负载均衡，是通过“DNS轮询”实现的：DNS-server对于一个域名配置了多个解析ip，每次DNS解析请求来访问DNS-server，会轮询返回这些ip，保证每个ip的解析概率是相同的。这些ip就是nginx的外网ip，以做到每台nginx的请求分配也是均衡的。

【反向代理层】到【站点层】的负载均衡，是通过“nginx”实现的。通过修改nginx.conf，可以实现多种负载均衡策略：

【站点层】到【服务层】的负载均衡，是通过“服务连接池”实现的。

上游连接池会建立与下游服务多个连接，每次请求会“随机”选取连接来访问下游服务。（也即是rpc框架实现的）

在数据量很大的情况下，由于数据层（db，cache）涉及数据的水平切分，所以数据层的负载均衡更为复杂一些，它分为“数据的均衡”，与“请求的均衡”。

数据的均衡是指 ：水平切分后的每个服务（db，cache），数据量是差不多的。

请求的均衡是指 ：水平切分后的每个服务（db，cache），请求量是差不多的。

（1）按照range水平切分

（2）按照id哈希水平切分

[图片上传中...(-6b2508-1561902875888-0)]

常见的负载均衡系统包括 3 种：DNS 负载均衡、硬件负载均衡和软件负载均衡。

硬件负载均衡是通过单独的硬件设备来实现负载均衡功能，这类设备和路由器、交换机类似，可以理解为一个用于负载均衡的基础网络设备。比如业界非常出名的F5

缺点：

（1）价格实在非常昂贵

（2）扩展性不强

软件负载均衡通过负载均衡软件来实现负载均衡功能，常见的有 Nginx 和 LVS。

nginx和F5： https://blog.csdn.net/chabale/article/details/8956717

nginx和lvs比较： https://blog.51cto.com/hzcto/2086691

lvs： https://www.cnblogs.com/liwei0526vip/p/6370103.html

ELB： https://aws.amazon.com/cn/elasticloadbalancing/

SLB： https://help.aliyun.com/product/27537.html

题目：日活跃用户 1000 万的论坛的负载均衡集群，该如何设计呢？

（1）评估流量

1000万DAU，换算成秒级（一天12小时），平均约等于232。

考虑每个用户操作次数，假定10，换算成平均QPS=2320。

考虑峰值是均值倍数，假定5，换算成峰值QPS=11600。

考虑静态资源、图片资源、服务拆分等，流量放大效应，假定10，QPS 10=116000。

（2）容量规划

考虑高可用、异地多活，QPS 2=232000。

考虑未来半年增长，QPS*1.5=348000。

（3）方案设计

可以用三级导流：

第一级，DNS，确定机房，以目前量级，可以不考虑。

第二级，确定集群，扩展优先，则选Haproxy/LVS，稳定优先则选F5。

第三级，Nginx+KeepAlived，确定实例。

（4）架构图

接入层技术：

缺点：

优点：

缺点：

优点：

缺点：

缺点：

nginx毕竟是软件，性能比tomcat好，但总有个上限，超出了上限，还是扛不住。lvs就不一样了，它实施在操作系统层面；f5的性能又更好了，它实施在硬件层面；它们性能比nginx好很多，例如每秒可以抗10w，这样可以利用他们来扩容。

99.9999%的公司到这一步基本就能解决接入层高可用、扩展性、负载均衡的问题。 假设还扛不住的话，就要考虑使用硬件设备f5等。如果还是扛不住，那么只有DNS来扩容了。

水平扩展，才是解决性能问题的根本方案，能够通过加机器扩充性能的方案才具备最好的扩展性。 facebook，google，baidu的PV是不是超过80亿呢，它们的域名只对应一个ip么，终点又是起点，还是得通过DNS轮询来进行扩容：

比如购买了阿里云或者aws。那么基本会使用云厂商提供的负载均衡中间件，比如aws（elb）、阿里云（slb）。这个负载均衡软件可以认为是 lvs+keepalived的高可用负载均衡服务

后端的service有可能部署在硬件条件不同的服务器上：

1）如果对标最低配的服务器“均匀”分摊负载，高配的服务器的利用率不足；

2）如果对标最高配的服务器“均匀”分摊负载，低配的服务器可能会扛不住；

（1）通过“静态权重”标识service的处理能力

优点： 简单，能够快速的实现异构服务器的负载均衡。

缺点： 权重是固定的，无法自适应动态调整，而很多时候，服务器的处理能力是很难用一个固定的数值量化。

（2）通过“动态权重”标识service的处理能力

提问：通过什么来标识一个service的处理能力呢？

回答：其实一个service能不能处理得过来，能不能响应得过来，应该由调用方说了算。调用服务，快速处理了，处理能力跟得上；调用服务，处理超时了，处理能力很有可能跟不上了。

动态权重设计：

例如：

（1）设置一个阈值，超过阈值直接丢弃

（2）借助“动态权重”来实施过载保护

案例策略：

1）service的负载均衡、故障转移、超时处理通常是RPC-client连接池层面来实施的

2）异构服务器负载均衡，最简单的方式是静态权重法，缺点是无法自适应动态调整

3）动态权重法，可以动态的根据service的处理能力来分配负载，需要有连接池层面的微小改动

4）过载保护，是在负载过高时，service为了保护自己，保证一定处理能力的一种自救方法

5）动态权重法，还可以用做service的过载保护

KONG为请求多个后端服务提供了多种负载均衡方案：一种是简单的基于DNS，另一种是更加动态的环形均衡器，他在不需要DNS服务器的情况下也允许服务注册。

当使用基于DNS的负载平衡时，后端服务的注册是在Kong之外完成，而Kong只接收来自DNS服务器的更新。如果请求的API被解析为多个IP地址，则已使用包含主机名（而不是IP地址）的upstream_url定义的每个API将自动使用基于DNS的负载平衡，前提是主机名未被解析为upstream名称或你的localhosts文件中的名称。DNS记录ttl设置（生存时间）确定刷新信息的频率。当设置ttl为0时，每个请求将使用自己的dns查询进行解析。显然这会带来性能损失，但更新/更改的延迟将非常低。

A记录包含一个或多个IP地址。因此，当主机名解析为A记录时，每个后端服务都必须有自己的IP地址。因为没有 weight 信息，所有条目在负载平衡器中将被视为同样的权重，平衡器将进行直线循环。来自DNS记录的IP地址的初始选择是随机的。这是为了确保即使当ttl为0时，负载也正确分配。

SRV记录包含所有IP地址的权重和端口信息。可以通过唯一的IP端口号的组合来标识后端服务。因此，单个IP地址可以托管不同端口上相同服务的多个实例。因为权重信息可用，每个条目将在负载平衡器中获得自己的权重，并且它将执行加权循环。

类似地，任何给定的端口信息将被来自DNS服务器的端口信息覆盖。如果一个API的 upstream_url= http://myhost.com:1234/path 并且 myhost.com 被解析为 SRV 记录中的 127.0.0.1:5678，此时的API将会被代理到 http://127.0.0.1:5678/path ，之前的 1234 端口会被重写为 5678 端口。IP地址+端口组合在初始时是随机选择的，这是为了确保服务能被正确分配，即使ttl设置为0。

tip：每当刷新DNS记录时，都会生成列表以正确处理加权。建议将权重保持为彼此的倍数以保证系统的性能。

DNS解析器按顺序开始解析以下记录类型：

1. 最后一个成功的类型优先解析；

2. SRV记录

3. A记录

4. CNAME记录

所以，如果你使用的主机名称中同时含有SRV记录和A记录时，将仅解析SRV实例。如果你想使用A记录，那么你必须得把SRV记录从DNS中删除。如果你只有A记录，则SRV记录查询失败，然后自动指向到A记录，并查询A记录是否存在，依次类推。

使用环形平衡器时，后台服务的添加和删除将由Kong处理，不需要进行DNS更新。KONG将扮演服务注册的角色。可以通过单个HTTP请求添加/删除节点，并可立即启动/停止接收请求流量。

可以通过配置 upstream 和 target 属性来配置环形均衡器。

默认情况下，一个环平衡器将使用一个加权循环的方案。另一种方法是使用基于散列的算法。散列的输入可以是 none , consumer , ip , 或者 header 。当设置为none时，将使用加权循环方案，并且将禁用哈希。

有两种选择，一种主要的和一种备用方案，以防主服务器出现故障（例如，如果主服务器被设置为 consumer ，但是没有经过身份验证）

不同的散列选项:

哈希算法是基于“一致性哈希”，它确保当平衡器通过改变目标（添加、移除、失败或改变权重）来修改时，只有最小的散列损失发生。这将最大优化上游缓存的命中。

一堆原理实在不好理解，下面来几个案例研究下：

这是一个安全部署应用的方法，它通过提供两个版本的应用同时运行。为了部署一个新版本的应用，你需要将当前版本切换到新版本，然后关闭老版本。Blue-green deployment不会使应用停止服务，在必要的情况下允许你快速回滚应用到blue版本。

设置“蓝色”环境，运行版本1的地址服务：

将主机头设置为 address.mydomain.com ，就可以让那Kong代理这个请求转发到定义的两个目标；三分之二的请求将发送到 http://192.168.34.15:80/address （权重=100），1/3将转到 http://192.168.34.16:80/address （权重=50）。

设置“绿色”环境，运行版本2的地址服务：

将主机头设置为 address.mydomain.com ，现在已经给Kong设置了一个新的目标；一半的请求将被发送到 http://192.168.34.17:80/address （权重=100），另外1/2将转到 http://192.168.34.18:80/address （权重=100）。

通常，通过Kong管理API的更改是动态的，并将立即生效。不需要重新加载或重启，在进度请求中不需要删除。

使用环型平衡器，目标权重可以精确地调整，允许一个平滑的、可控的金丝雀环境。

使用一个非常简单的2个目标示例：

通过重复请求，但是每次改变权重，流量将慢慢地路由到另一个目标。例如，将其设置为10%：

同样，通过Kong管理API的更改是动态的，并将立即生效。不需要重新加载或重启，在进度请求中不需要删除。

---