Replica Sets
MongoDB 支持在多个机器中通过异步复制达到故障转移和实现冗余。多机器中同一时刻只 有一台是用于写操作。正是由于这个情况，为 MongoDB 提供了数据一致性的保障。担当 Primary 角色的机器能把读操作分发给 slave。
Replica Sets的结构非常类似一个集群。因 为它确实跟集群实现的作用是一样的， 其中一个节点如果出现故障， 其它节点马上会将业务接过来而无须停机操作。
下面以本机为例介绍一下集群的部署过程，以及部署过程中常见的注意点及错误
本例环境是Linux操作系统，mongodb版本:mongodb-linux-x86_64-2.6.1.tgz，Vmwre虚拟机，虚拟机IP:192.168.169.129,集群以本机不同端口模拟三台服务器。
1.集群主要分为三个节点master主节点，slaver备用节点，arbiter仲裁节点
建立数据文件夹
1
2
3
mkdir -p /mongodb/data/master
mkdir -p /mongodb/data/slaver
mkdir -p /mongodb/data/arbiter
ps:三个目录分别对应主，备，仲裁节点
2.建立配置文件夹
1)master.conf
打开编辑器:
1
vi /etc/master.conf
按i 输入下列配置
1
2
3
4
5
6
7
dbpath=/home/mongodb/data/master
logpath=/home/mongodb/log/master.log
logappend=true
replSet=rep1
port=10000
fork=true
journal=true
完成之后按esc 》》 : >>wq>>回车
2）slaver.conf
编辑器打开和保存按上边的步骤，下边只写详细内容
1
2
3
4
5
6
7
dbpath=/home/mongodb/data/slaver
logpath=/home/mongodb/log/slaver.log
logappend=true
replSet=rep1
port=10001
fork=true
journal=true
3）arbiter.conf
1
2
3
4
5
6
7
8
dbpath=/home/mongodb/data/arbiter
logpath=/home/mongodb/log/arbiter.log
logappend=true
replSet=rep1
port=10002
fork=true
journal=true
smallfiles=true
参数解释：
dbpath：数据存放目录
logpath：日志存放路径
logappend：以追加的方式记录日志
replSet：replica set的名字
port：mongodb进程所使用的端口号，默认为27017
fork：以后台方式运行进程
journal:写日志
smallfiles:当提示空间不够时添加此参数
其他参数
pidfilepath：进程文件，方便停止mongodb
directoryperdb：为每一个数据库按照数据库名建立文件夹存放
bind_ip：mongodb所绑定的ip地址
oplogSize：mongodb操作日志文件的最大大小。单位为Mb，默认为硬盘剩余空间的5%
noprealloc：不预先分配存储
3.启动Mongodb
1
cd /home/mongodb/bin
启动服务
1
2
3
4
5
./mongod -f /etc/master.conf
./mongod -f /etc/slaver.conf
./mongod -f /etc/arbiter.conf
有这样的提示说明启动成功
如果是下列的提示说明启动失败
启动失败的原因有很多，检查完配置文件，如果没有错误，可打开相应的配置文件查看详细的错误信息
cat /etc/master.conf
最常见的一个错误就是磁盘空间不足，会提示这样的错误
因为Mongodb的日志文件是成2g的增长，所以所需空间比较大，这时你可以在配置文件里添加这样的一个配置
smallfiles=true。
全部三个服务全部启动成功之后
4.配置主(master)，备(slaver)，仲裁(arbiter)节点
可以通过客户端连接mongodb，也可以直接在三个节点中选择一个连接mongodb。
./mongo 192.168.169.129:10000 #ip和port是某个节点的地址
>use admin
>cfg={ _id:"rep1", members:[ {_id:0,host:'192.168.169.129:10000',priority:2}, {_id:1,host:'192.168.169.129:10001',priority:1},
{_id:2,host:'192.168.169.129:10002',arbiterOnly:true}] }
>rs.initiate(cfg) #使配置生效
{
"set" : "rep1",
"date" : ISODate("2014-09-05T02:44:43Z"),
"myState" : 1,
"members" : [
{
"_id" : 0,
"name" : "192.168.169.129:10000",
"health" : 1,
"state" : 1,
"stateStr" : "PRIMARY",
"uptime" : 200,
"optime" : Timestamp(1357285565000, 1),
"optimeDate" : ISODate("2013-01-04T07:46:05Z"),
"self" : true
},
{
"_id" : 1,
"name" : "192.168.169.129:10001",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 200,
"optime" : Timestamp(1357285565000, 1),
"optimeDate" : ISODate("2013-01-04T07:46:05Z"),
"lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"),
"pingMs" : 0
},
{
"_id" : 2,
"name" : "192.168.169.129:10002",
"health" : 1,
"state" : 7,
"stateStr" : "ARBITER",
"uptime" : 200,
"lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"),
"pingMs" : 0
}
],
"ok" : 1
}
配置过程中可能还会出现其他的一些错误，不过都可以去查看相应的日志文件，去解决。
Ambari是Apache的开源项目，它帮助用户在GUI页面上简单的部署、管理、监控Hadoop集群环境。Ambari支持的Hadoop组件包括HDFS、Hive、HBase、Spark、Yarn等，HortonWorks官方也是采用Ambari来完成自家HDP套件的安装、管理及监控的。除了预置的组件之外，Ambari还支持自定义组件的安装，同时，支持RESTful的API，继而可以通过命令行等方式调用Ambari来完成一些自动化的任务。
本文共分为两部分，第一部分介绍如何在Docker虚拟化环境中部署Ambari；第二部分介绍如何基于Ambari来部署和管理Hadoop集群。
### 环境信息
* Docker发行版：Docker for Mac
* Docker版本：17.06.2-ce
* Docker容器OS：Ubuntu 14.04
* Ambari版本：2.5.2.0
Docker环境准备
拉取Docker镜像：在宿主机上执行命令docker pull ubuntu:14.04从远端仓库中获取Ubuntu的镜像，也可以获取其他OS的镜像，本文以Ubuntu为例
启动Docker容器：执行如下命令，以ubuntu:14.04镜像为基础启动容器：
docker run -itd --name ambari_new -p 8080:8080 -p 3306:3306 -v /Users/yuxiaolei/Workspace/dockerShared:/dockerShared ubuntu:14.04 /bin/bash
由于Ambari启动Web程序的时候占用8080端口，因此要从Docker宿主机上访问Ambari页面，需要通过参数 -p 来制定端口映射；
作为新手，笔者在容器内部署好Ambari之后，才发现Web页面的8080端口和MySQL的3306端口（可选）没有暴露给Docker宿主机，也就没法从宿主机上通过浏览器来登陆Ambari，因此必须想办法在已有容器上开放端口。
有两个方法：
1）如果宿主机为Linux系统，则修改iptables防火墙来指定端口映射规则；
2）如果是非Linux系统，可以将已装Ambari的容器commit为新的镜像，再基于该镜像创建新的容器。此时，就可以在docker run命令中添加参数 -p 来指定端口映射了。
还有一个问题，Ambari将其数据存储在数据库中，支持MySQL、PostgreSQL等数据库；容器内安装MySQL之后，基于上一步创建的新容器里，会发现MySQL启动不起来，执行命令/etc/init.d/mysql restart启动失败，在/var/log/mysql/error.log日志文件中打印有170802 14:02:59 [ERROR] Fatal error: Can't open and lock privilege tables: Got error 140 from storage engine的错误，经过网上查资料，需要在创建容器的时候添加参数-v /var/lib/mysql将MySQL数据存储路径声明为数据卷，即可解决问题。
启动容器之后，执行命令docker exec -it ambari /bin/bash进入容器内部。
Ambari安装
配置Ubuntu的软件仓库源：
国内建议采用阿里云的软件源，在root账号下用vim打开/etc/apt/sources.list文件，删除文件所有内容，粘贴如下内容：
deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
执行命令apt-get update完成软件列表更新
安装Ambari所依赖的软件
apt-get install software-properties-commonsudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
sudo apt-get install oracle-java8-set-default
完成安装之后，在 ~/.bashrc 文件末尾添加命令 `export JAVA_HOME=/usr/lib/jvm/java-8-oracle ` 以配置JAVA\_HOME 环境变量。
create database ambariuse ambariGRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root_password' WITH GRANT OPTIONFLUSH PRIVILEGESexit
由于Ambari的数据存储在MySQL数据库中，这里为Ambari单独创建了database，并为其赋了完全控制权限；说明：假设MySQL数据库root用户的密码为：root\_password
修改 `/etc/mysql/my.conf`，将`skip-external-locking`注释掉，并确保 `bind-address = 0.0.0.0` 配置，以使MySQL可被远程主机访问。
执行命令`/etc/init.d/mysql restart`重启MySQL 服务。
时间同步服务器ntp：执行命令apt-get install ntp安装ntp时间同步服务器，以便于集群环境中各节点的时钟一致；执行命令sudo service ntp restart重启ntp服务。
MySQL：执行命令apt-get install mysql-server安装MySQL服务器，安装完成后执行命令mysql -uroot -proot进入MySQL客户端，执行如下SQL代码：
Oracle JDK：逐条执行如下命令，以添加WebUpd8团队（https://launchpad.net/~webupd8team/+archive/ubuntu/java）提供的Oracle JDK仓库源，并从该仓库安装JDK：
下载Ambari仓库文件
进入cd /etc/apt/sources.list.d目录，执行命令wget http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.5.2.0/ambari.list从HortonWorks仓库中下载Ambari源文件，下载后切勿修改list文件名；
执行命令apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD以信任远端仓库的GPG签名
执行命令apt-get update更新Ambari软件源
执行命令apt-get install ambari安装Ambari套件，由于软件包较大（700多MB），这里情耐心等待，不过apt-get支持断点下载，网络终端后重新执行命令时不会从零开始下载
配置Ambari：
执行命令mysql -uroot -proot进入MySQL客户端，执行命令source ambari进入ambari的数据库，并执行命令source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql来完成Ambari的数据库表初始化操作；
执行命令ambari-server setup启动Ambari的引导式配置操作，根据指导做配置即可。需要注意的是，JDK不要选择由Ambari从网络下载，应该选择自定义路径，然后输入/usr/lib/jvm/java-8-oracle即可；
启动Ambari：执行命令ambari-server start，启动日志存储路径为/var/log/ambari-server/ambari-server.log
启动之后，由于我们之前做了Docker容器的端口映射，因此可以在宿主机上打开浏览器输入http://localhost:8080即可访问Ambari登陆页面
登陆用户名和密码均为admin，登陆之后就可以看到Ambari的首页了，如下图：
{% asset_img
欢迎分享，转载请注明来源：夏雨云
微信扫一扫
支付宝扫一扫
评论列表（0条）