HadoopSpark集群时间同步问题解决方法

生产集群不会每台都有访问外网的权限，一般管理员会有master的外网访问权限，为了保证hadoop或spark程序的正确运行，保证节点间的时间同步是很有必要的，因此需要设置局域网内次节点与master时间同步。

1） 一般系统安装时的时区都会选择上海，如果需要重新选择时区，那么在master下敲入tzselect进行时区选择。

2） Linux一般都是安装了ntp的，如果没有安装可以用yum install ntp来安装一下（这个安装应该直接在系统的yum库中可以找到，因此不需要网络的），每台节点都需要确保其安装。

3） chkconfig ntpd on命令设置ntp永久开启

4） 接下来在master上需要进行配置文件的修改。

首先停掉ntpd服务： service ntpd stop

vim /etc/ntp.conf

将文件修改如下：

1> restrict 192.168.130.0 mask 255.255.255.0 nomodify notrap 此处修改的意思为处于192.168.130网段的全部ip都可以与master来设置时间同步。

2> 对于新加的几个server，其目的如下注释：

server 210.72.145.44 perfer#国家时间校准中心

server 202.112.10.36#校准备用服务器

server 59.124.196.83 #校准备用服务器

server 192.168.130.56#局域网NTP服务器IP，也就是主节点

配置好后，master中root下启动ntpd： service ntpd start

设置每天同步一次： crontab –l

5） 次节点同步

次节点先停掉ntpd服务，然后输入： ntpdate master_host_name ，然后启动ntpd，此时输入 date 命令，看看时间是否正常了，同时可以通过设置 crontab –l 来使其每天都同步一次。全部的节点都这么同步一下。

我的博客 : https://NingSM.github.io

阿里云ECS实例已经提供了NTP服务器支持，直接启动已配置好的NTP服务即可。

《阿里云NTP服务器》

《配置Linux实例NTP服务》

在开启服务前，先确保环境配置：

文档 《配置Linux实例NTP服务》 中介绍了CentOS环境下开启NTP服务。

由于本人购买的Ubuntu服务器，下面总结Ubuntu环境下的配置。

执行命令查询所有服务，看ntp服务是否已开启(+号：已开启；-号：未开启):

发现香港地区的服务默认都没有开启ntp服务；但深圳地区的服务器默认已经开启了ntp服务。

执行命令查询ntp进程，发现深圳服务器默认已经开启了ntp服务：

如果未开启ntp服务，执行命令开启ntp服务：

开启成功后，如图：

或者查询ntp相关的进程：

重启后通过如下命令观察NTP的运行状态：

这个命令可以列出目前我们的 NTP 与相关的上层 NTP 的状态，上头的几个字段的意义为：

driftfile /etc/ntp/drift

语法为： restrict IP地址 mask 子网掩码 参数

其中IP地址也可以是default ，default 就是指所有的IP

参考 《ubuntu安装和使用NTP》

---