Hadoop集群及组件

1、重启云主机 hadoop1,node-0001,node-0002,node-0003

2、在 hadoop1 上安装配置 zookeeper，并同步给其他主机

使用zookeeper-3.4.13.tar.gz

所有节点手工启动服务

当所有节点启动完成以后使用命令验证:

/usr/local/zookeeper/bin/zkServer.sh status

手册地址

1、安装配置 kafka，并同步给其他主机

拷贝云盘 public/hadoop/kafka_2.12-2.1.0.tgz 到 hadoop1

2、修改 node-0001,node-0002,node-0003 配置文件并启动服务

3、验证（在不同机器上执行）

购买云主机

hadoop1 上执行

hadoop2 上执行

在 hadoop1 上完成以下文件的配置

1、配置 hadoop-env.sh

2、配置 slaves

3、配置 core-site.xml

4、配置 hdfs-site.xml

5、配置 mapred-site.xml

6、配置 yarn-site.xml

1、重启机器、在 node-0001，node-0002，node-0003 启动 zookeeper

2、清空实验数据并同步配置文件（hadoop1 上执行）

3、在 node-0001，node-0002，node-0003 启动 journalnode 服务

4、初始化（hadoop1 上执行）

5、停止在 node-0001，node-0002，node-0003 上的 journalnode 服务

6、启动集群

如果是集群的话，我考虑需要流畅运行的话，2核4G配置是可以满足的。因为这个集群形式，用于适用于物联网、车联网、监控、安全风控、即时通讯、消息存储等行业场景，所以数据量是比较大的，所以配置太低了跑不动，会卡死的。

因为hadoop是海量数据的处理能力，所以服务器一定不能太小配置了，跑不动了就没实际用途了。最好使用4核8G内存及以上配置。

因为这方面内容较多，这里也写不开那么多内容，所以你可以留言或到我的博客上搜索相关内容，老魏有写过教程，还不止一篇，都挺详细的内容，可以帮助你入门。

---