2、主服务器是提供计算服务读写的设备,由于服务器需要响应服务请求,并进行处理,服务器应具备承担服务并且保障服务的能力。
3、备服务器是只提供读的服务,主服务器正常的情况下备服务器不用工作。
集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用kettle集群时,首先需要定义的是Cluster schema。所谓的Cluster schema就是一系列的子服务器的集合。在一个集群中,它包含一个主服务器(Master)和多个从属服务器服务器(slave)。如下图所示:子服务器(Slave servers)允许你在远程服务器上执行转换。建立一个子服务器需要你在远程服务器上建立一个叫做“Carte”的 web 服务器,该服务器可以从Spoon(远程或者集群执行)或者转换任务中接受输入。
在以后的描述中,如果我们提到的是子服务器,则包括集群中的主服务器和从属服务器;否则我们会以主服务器和从属服务器来进行特别指定。
注意: 在集群环境下执行转化时,你必须有一个子服务器作为主服务器(master
server)而其余所有的子服务器都作从属服务器(slave server)
代理服务器主机名
设置你要通过代理进行连接的主机名
代理服务器端口
设置与代理进行连接时所需的端口号
Ignore proxy for hosts: regexp|separated
指定哪些服务器不需要通过代理来进行连接。该选项支持你使用正则表达式来制定多个服务器,多个服务器之间以'
| ' 字符来进行分割
创建cluster schema
定义转换
定义完了 cluster schema 后,下一步就是定义在集群环境下执行的转换。我们这里展现的只是一个最简单的例子,完全是为了演示而用。现实情况中的集群有可能非常复杂。
首先你像平时一样创建转换,以hop连接连个两个步骤。然后你指定第二个步骤将在集群下执行
然后选择需要使用的集群。转换如图一样显示在GUI中。
注意 Cx4显示这个步骤将在集群中运行,而这个集群中有4个从属服务器。假设我们将计算结果再次存入到数据表中
这个转换虽然定义了集群,但是我们同样可以让它在单机环境下执行,而且可以得到相同的结果。这意味着你可以使用普通的本地模式来测试它。
执行转换
要想以集群方式来运行转换或者作业,首先需要启动在Cluster schema中定义的主服务器和从属服务器,然后再运行转换或者作业。
启动子服务器
子服务器其实是一个嵌入式的名为 Carte 的 小web server。要进行集群转换,首先需要启动cluster schema中的子服务器
脚本启动
kettle 提供了 carte.bat 和 carte.sh ( inux )批处理脚本来启动子服务器,这种启动方式分为两种
使用主机号和端口号
Carte 127.0.0.1 8080
Carte 192.168.1.221 8081
使用配置文件
Carte /foo/bar/carte-config.xml
Carte url .
一、主从服务器
1、两台服务器。主服务器Master复制数据的更新、插入、删除等操作; 从服务器Slave负责查询(读写分离,减缓服务器压力)
2、主服务器更新数据的同时更新从服务器的数据(数据备份)
3、当主服务器出现文件时,可用从服务器代替主服务器,保证网站的正常运行,同时检测主服务器存在的问题。注意:从服务器仍然只有查询功能,如银行系统更新时只能查询余额,不能存取款。(服务器可用性)
4、当把从服务器真正设置为主服务器时(即主从服务器设置调换),拥有更新数据的功能。
5、MyISAM不支持事务,但查询性能比InnoDB强;InnoDB支持事务,更新操作性能比MyISAM强。因此,主服务器可以设置成MyISAM存储引擎,从服务器可以设置成InnoDB存储引擎(灵活设置存储引擎)
二、负载均衡
1、多台服务器。一个域名映射到多台服务器IP。
2、用户发出请求,提交到负载均衡服务器,由负载均衡服务器发送请求到不同的服务器。
3、负载均衡服务器选取服务器方法(负载均衡算法):
1、轮询:每台服务器轮换
2、加权轮询:为了应对某些服务器性能好,可以让他们的权重高一点,被选中的几率大一些。
3、最少连接:哪台服务器处理的连接少,就发给哪台服务器。
4、随机
4、存在的问题:客户端存在缓存,如果服务器出现故障,客户端报错。
5、分类:DNS负载均衡、HTTP负载均衡、IP负载均衡、反向代理负载均衡。
三、服务器集群
1、多台服务器协同工作,每台服务器叫做集群的一个“节点”,每个节点都提供相同的服务。
2、优点:高性能、高可用性、可伸缩性
3、分类:负载均衡集群、高可用性集群、高性能集群
四、分布式架构
1、按照业务功能,将一个完整的系统拆分成一个个独立的子系统,每个子系统成为“服务”。子系统可以独立运行在web容器中,它们之间通过RPC方式通信。
五、微服务架构
六、消息队列
七、RPC
八、分布式、集群和微服务之间的联系:
1、分布式、集群分散压力
2、微服务分散功能
3、集群:每台服务器提供相同的服务
4、分布式:按照功能拆分服务器,每台服务器可以独立运行,依赖一个中心运用。
5、微服务:按照功能拆分服务器,每台服务器应用独立运行。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)