Hadoop HA 高可用原理及部署

Hadoop HA 高可用原理及部署,第1张

在Hadoop 2.0之前,只有namenode一个节点,存在单点问题,namenode单点故障,难以应用与在线场景,也不利于生产上维护集群。namenode压力过大,且内存受损,影响系统延展性。0

HA:高可用集群(High Availability Cluster),是指以减少服务中断时间为目的的服务器集群技术。它通过保护用户的业务程序对外不间断提供的服务,把因软件、硬件、人为造成的故障对业务的影响降到最小。

在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式,一种是NFS(Network File System)方式,另外一种是QJM(QuorumJournal Manager)方式。

NFS(Network File System)

在QJM出现之前,为保障集群的HA,设计的是一种基于NAS的共享存储机制,即主备NameNode间通过NAS进行元数据的同步。该方案有什么缺点呢,主要有以下几点:

1. 定制化硬件设备:必须是支持NAS的设备才能满足需求

2. 复杂化部署过程:在部署好NameNode后,还必须额外配置NFS挂载、定制隔离脚本,部署易出错

3. 简陋化NFS客户端:Bug多,部署配置易出错,导致HA不可用

所以对于替代方案而言,也必须解决NAS相关缺陷才能让HA更好服务。即设备无须定制化,普通设备即可配置HA,部署简单,相关配置集成到系统本身,无需自己定制,同时元数据的同步也必须保证完全HA,不会因client问题而同步失败。所以引出了QJM方式。

QJM全称是Quorum Journal Manager, 由JournalNode(JN)组成,一般是奇数点结点组成。每个JournalNode对外有一个简易的RPC接口,以供NameNode读写EditLog到JN本地磁盘。当写EditLog时,NameNode会同时向所有JournalNode并行写文件,只要有N/2+1结点写成功则认为此次写操作成功,遵循Paxos协议。

HA架构是共同为客户机提供网络资源的一组计算机系统。其中每一台提供服务的计算机称为节点。当一个节点不可用或者不能处理客户的请求时,该请求会及时转到另外的可用节点来处理,而这些对于客户端是透明的,客户不必关心要使用资源的具体位置,集群系统会自动完成。

基于共享磁盘的HA架构通过共享盘柜实现集群中各节点的数据共享,包含主服务器、从服务器、存储阵列三种主要设备,以及设备间的心跳连接线。而基于磁盘镜像的HA架构不包含存储阵列。集群中两种服务器的本地硬盘通过数据镜像技术,实现集群中各节点之间的数据同步,从而实现集群的功能。

拓展资料:

HA架构软件是架构在操作系统之上的程序,其主要由守护进程、应用程序代理、管理工具、开发脚本等四部分构成,应用服务系统是为客户服务的应用系统程序,比如MS SQL Server,Oracle,Sybase,DB2 UDB,Exchange,Lotus Notes等应用系统软件。

执行范围:所有主机

执行完成后重启服务器。

执行范围: 所有主机

安装方式: 二进制离线安装

执行范围: 所有主机

作用:用于为k3s提供存储,k3s支持除etcd外的集群数据存储方式

执行范围: 10.2.2.10 服务器主机

说明:选用5.7版本是因为该版本是rancher官方推荐。

第5步中,只需要对server节点所在的IP创建用户并授权就可以了。

对于server-1 10.2.2.13节点

对于server-2 10.2.2.14节点

两个server节点部署完成后,查看当前集群节点状况

1、haproxy的部署和配置

部署 haproxy-2.4.7

部署方式:二进制

执行范围:10.2.2.11 10.2.2.12 (两台服务器操作完全一致)

访问haproxy-UI http://10.2.2.11:18090/admin 监控页面

2、 keepalived的部署和配置

部署 keepalived-2.1.5

部署方式:二进制

执行范围:10.2.2.11 10.2.2.12 (两台服务器keepalived配置文件有所差异,下文会标明)

3、通过keepalived虚拟VIP http://10.2.2.100:18090/admin 访问haproxy监控页面

执行范围: 10.2.2.15 10.2.2.16

登录10.2.2.13(即上述server-1节点),拷贝k3s的3个文件到10.2.2.15和10.2.2.16两台主机上

修改install.sh文件,如下(10.2.2.15和10.2.2.16改动都一样)

安装

登录10.2.2.13查看集群节点

九、安装rancher-ui界面

操作范围:10.2.2.10

访问

继续按下图所示导入k3s集群到rancher


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/399508.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-20
下一篇2023-05-20

发表评论

登录后才能评论

评论列表(0条)

    保存