环境准备:
要做到服务器集群的时间同步,集群中各台机器的时区必须相同的,我们在国内就使用中国时区,如果你的机器的时区不是"Asia/Shanghai",需要修改时区
CentOS 中时区是以文件形式存在,当前正在使用的时区文件位于
/etc/localtime ,其他时区文件则位于 /usr/share/zoneinfo 下,中国时区的文件全路径是 /usr/share/zoneinfo/Asia/Shanghai
要更改时区,直接使用如下命令就OK
需要使用 tzselect 命令去生成时区文件,生成好的时区文件就在/usr/share/zoneinfo 目录下,具体步骤去下:
使用 date -s 命令来修改系统时间
让集群所有的服务器的时间同步,就用远程连接工具连接所有服务器,然后在所有的服务器中同时执行 date -s 命令设置时间,然后在所有的服务器中执行 hwclock -w 命令即可
美国标准技术院时间服务器:time.nist.gov(192.43.244.18)
上海交通大学网络中心NTP服务器地址:ntp.sjtu.edu.cn(202.120.2.101)
中国国家授时中心服务器地址:cn.pool.ntp.org(210.72.145.44)
若以上提供的网络时间服务器不可用,请自行上网寻找可用的网络时间服务器
<1>使用命令: crontab -e
<2> 然后往里加入一行内容
上面的配置表示,每隔十分钟从 202.120.2.101 该时间服务器同步一次时间。
<3> 保存退出
以上两步操作可以让node01这个服务器每隔10分钟去指定的服务器同步时间,如果需要让集群中的所有服务器(hadoop01-hadoop04)时间同步,那么每台服务器都要做以上两步操作。
node01的IP为192.168.21.101,让它作为时间服务器,192.168.21.0局域网内的所有服务器都向它同步时间,而node01这台时间服务器本身,向外网时间服务器同步时间(比如中国国家授时中心服务器)
我用node01
我去掉了所有的默认注释,对其中的修改写了自己的注释,没有写注释的是默认配置
因为ntpd服务开启之后,就不能手动同步时间了,那么为什么要先手动同步时间呢?
当server(中国国家授时中心服务器)与client(node01)之间的时间误差过大时(可能是1000秒),node01去同步时间可能对系统和应用带来不可预知的问题,node01将停止时间同步!所以如果发现node01启动之后时间并不进行同步时,应该考虑到可能是时间差过大引起的,此时需要先手动进行时间同步!
看到红色框中的内容,表示连接和监听已正确
这里的前4行就是我们配置的4个中国国家授时中心的服务器的信息
最后一行就是本地时间服务的信息
下面对每个列的意义进行说明:
同样,服务启动后需要等待5-10分钟才能看到这个正常的信息
到这里,我们局域网内的时间服务器node01就已经配置完毕了
文件内容如下:
同样,没有写注释的都是默认的配置
原因同(5)
到这里,利用局域网内一台时间服务器来同步整个集群时间的全部配置就已经完成
说明:若以上提供的网络时间服务器不可用,请自行上网寻找可用的网络时间服务器,另外需要关闭各服务器的防火墙,才能进行时间同步
参考文章:
内网环境NTP服务及时间同步(CentOS6.x)配置和部署
配置NTP服务ntpd/ntp.conf(搭建Hadoop集群可参考)
阿里云ECS实例已经提供了NTP服务器支持,直接启动已配置好的NTP服务即可。《阿里云NTP服务器》
《配置Linux实例NTP服务》
在开启服务前,先确保环境配置:
文档 《配置Linux实例NTP服务》 中介绍了CentOS环境下开启NTP服务。
由于本人购买的Ubuntu服务器,下面总结Ubuntu环境下的配置。
执行命令查询所有服务,看ntp服务是否已开启(+号:已开启;-号:未开启):
发现香港地区的服务默认都没有开启ntp服务;但深圳地区的服务器默认已经开启了ntp服务。
执行命令查询ntp进程,发现深圳服务器默认已经开启了ntp服务:
如果未开启ntp服务,执行命令开启ntp服务:
开启成功后,如图:
或者查询ntp相关的进程:
重启后通过如下命令观察NTP的运行状态:
这个命令可以列出目前我们的 NTP 与相关的上层 NTP 的状态,上头的几个字段的意义为:
driftfile /etc/ntp/drift
语法为: restrict IP地址 mask 子网掩码 参数
其中IP地址也可以是default ,default 就是指所有的IP
参考 《ubuntu安装和使用NTP》
生产集群不会每台都有访问外网的权限,一般管理员会有master的外网访问权限,为了保证hadoop或spark程序的正确运行,保证节点间的时间同步是很有必要的,因此需要设置局域网内次节点与master时间同步。
1) 一般系统安装时的时区都会选择上海,如果需要重新选择时区,那么在master下敲入tzselect进行时区选择。
2) Linux一般都是安装了ntp的,如果没有安装可以用yum install ntp来安装一下(这个安装应该直接在系统的yum库中可以找到,因此不需要网络的),每台节点都需要确保其安装。
3) chkconfig ntpd on命令设置ntp永久开启
4) 接下来在master上需要进行配置文件的修改。
首先停掉ntpd服务: service ntpd stop
vim /etc/ntp.conf
将文件修改如下:
1> restrict 192.168.130.0 mask 255.255.255.0 nomodify notrap 此处修改的意思为处于192.168.130网段的全部ip都可以与master来设置时间同步。
2> 对于新加的几个server,其目的如下注释:
server 210.72.145.44 perfer#国家时间校准中心
server 202.112.10.36#校准备用服务器
server 59.124.196.83 #校准备用服务器
server 192.168.130.56#局域网NTP服务器IP,也就是主节点
配置好后,master中root下启动ntpd: service ntpd start
设置每天同步一次: crontab –l
5) 次节点同步
次节点先停掉ntpd服务,然后输入: ntpdate master_host_name ,然后启动ntpd,此时输入 date 命令,看看时间是否正常了,同时可以通过设置 crontab –l 来使其每天都同步一次。全部的节点都这么同步一下。
我的博客 : https://NingSM.github.io
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)