HadoopSpark集群时间同步问题解决方法

生产集群不会每台都有访问外网的权限，一般管理员会有master的外网访问权限，为了保证hadoop或spark程序的正确运行，保证节点间的时间同步是很有必要的，因此需要设置局域网内次节点与master时间同步。

1） 一般系统安装时的时区都会选择上海，如果需要重新选择时区，那么在master下敲入tzselect进行时区选择。

2） Linux一般都是安装了ntp的，如果没有安装可以用yum install ntp来安装一下（这个安装应该直接在系统的yum库中可以找到，因此不需要网络的），每台节点都需要确保其安装。

3） chkconfig ntpd on命令设置ntp永久开启

4） 接下来在master上需要进行配置文件的修改。

首先停掉ntpd服务： service ntpd stop

vim /etc/ntp.conf

将文件修改如下：

1> restrict 192.168.130.0 mask 255.255.255.0 nomodify notrap 此处修改的意思为处于192.168.130网段的全部ip都可以与master来设置时间同步。

2> 对于新加的几个server，其目的如下注释：

server 210.72.145.44 perfer#国家时间校准中心

server 202.112.10.36#校准备用服务器

server 59.124.196.83 #校准备用服务器

server 192.168.130.56#局域网NTP服务器IP，也就是主节点

配置好后，master中root下启动ntpd： service ntpd start

设置每天同步一次： crontab –l

5） 次节点同步

次节点先停掉ntpd服务，然后输入： ntpdate master_host_name ，然后启动ntpd，此时输入 date 命令，看看时间是否正常了，同时可以通过设置 crontab –l 来使其每天都同步一次。全部的节点都这么同步一下。

我的博客 : https://NingSM.github.io

环境准备：

要做到服务器集群的时间同步，集群中各台机器的时区必须相同的，我们在国内就使用中国时区，如果你的机器的时区不是"Asia/Shanghai"，需要修改时区

CentOS 中时区是以文件形式存在，当前正在使用的时区文件位于

/etc/localtime ，其他时区文件则位于 /usr/share/zoneinfo 下，中国时区的文件全路径是 /usr/share/zoneinfo/Asia/Shanghai

要更改时区，直接使用如下命令就OK

需要使用 tzselect 命令去生成时区文件，生成好的时区文件就在/usr/share/zoneinfo 目录下，具体步骤去下：

使用 date -s 命令来修改系统时间

让集群所有的服务器的时间同步，就用远程连接工具连接所有服务器，然后在所有的服务器中同时执行 date -s 命令设置时间，然后在所有的服务器中执行 hwclock -w 命令即可

美国标准技术院时间服务器：time.nist.gov（192.43.244.18）

上海交通大学网络中心NTP服务器地址：ntp.sjtu.edu.cn（202.120.2.101）

中国国家授时中心服务器地址：cn.pool.ntp.org（210.72.145.44）

若以上提供的网络时间服务器不可用，请自行上网寻找可用的网络时间服务器

<1>使用命令： crontab -e

<2> 然后往里加入一行内容

上面的配置表示，每隔十分钟从 202.120.2.101 该时间服务器同步一次时间。

<3> 保存退出

以上两步操作可以让node01这个服务器每隔10分钟去指定的服务器同步时间，如果需要让集群中的所有服务器(hadoop01-hadoop04)时间同步，那么每台服务器都要做以上两步操作。

node01的IP为192.168.21.101，让它作为时间服务器，192.168.21.0局域网内的所有服务器都向它同步时间，而node01这台时间服务器本身，向外网时间服务器同步时间(比如中国国家授时中心服务器)

我用node01

我去掉了所有的默认注释，对其中的修改写了自己的注释，没有写注释的是默认配置

因为ntpd服务开启之后，就不能手动同步时间了，那么为什么要先手动同步时间呢？

当server(中国国家授时中心服务器)与client(node01)之间的时间误差过大时（可能是1000秒），node01去同步时间可能对系统和应用带来不可预知的问题，node01将停止时间同步！所以如果发现node01启动之后时间并不进行同步时，应该考虑到可能是时间差过大引起的，此时需要先手动进行时间同步！

看到红色框中的内容，表示连接和监听已正确

这里的前4行就是我们配置的4个中国国家授时中心的服务器的信息

最后一行就是本地时间服务的信息

下面对每个列的意义进行说明：

同样，服务启动后需要等待5-10分钟才能看到这个正常的信息

到这里，我们局域网内的时间服务器node01就已经配置完毕了

文件内容如下：

同样，没有写注释的都是默认的配置

原因同(5)

到这里，利用局域网内一台时间服务器来同步整个集群时间的全部配置就已经完成

说明：若以上提供的网络时间服务器不可用，请自行上网寻找可用的网络时间服务器，另外需要关闭各服务器的防火墙，才能进行时间同步

参考文章：

内网环境NTP服务及时间同步(CentOS6.x)配置和部署

配置NTP服务ntpd/ntp.conf（搭建Hadoop集群可参考）

时间校准服务器就是为了让时间精确，我们就需要根据当地的标准时间进行校时，俗话说的也就是对中也就是使时间同步！与标准时间一致！

现在我们知道了什么是时间，时区，标准时间，时差!时间源还有网络小时的重要性，下面我们说一下中新创的DNS-8为例，因为这款产品功能比较齐全！

北京时间校准特点

北京时间是由位于陕西西安的中国国家授时中心计算得出。由于网络传输原因，现在北京时间校对显示秒钟有毫秒级误差桌面时钟，点击这里进入旧版中国时间，此版本秒级闹钟可选择自选音乐作为闹铃，点击日历可写入日程安排和查询农历。

校对时间是因时钟走时与北京时间有别而进行校准。欧洲人在时钟的表面巧妙地布置上从1到12个阿拉伯数字，按照顺序从数字12开始向右旋转而形成时间。为在时钟出现误差时，把三针重合于数字12为基准，消除了当时的误差。

---