阿里云ECS集群服务器时间同步解决方案

阿里云ECS集群服务器时间同步解决方案,第1张

阿里云ECS实例已经提供了NTP服务器支持,直接启动已配置好的NTP服务即可。

阿里云NTP服务器》

《配置Linux实例NTP服务》

在开启服务前,先确保环境配置:

文档 《配置Linux实例NTP服务》 中介绍了CentOS环境下开启NTP服务。

由于本人购买的Ubuntu服务器,下面总结Ubuntu环境下的配置。

执行命令查询所有服务,看ntp服务是否已开启(+号:已开启;-号:未开启):

发现香港地区的服务默认都没有开启ntp服务;但深圳地区的服务器默认已经开启了ntp服务。

执行命令查询ntp进程,发现深圳服务器默认已经开启了ntp服务:

如果未开启ntp服务,执行命令开启ntp服务:

开启成功后,如图:

或者查询ntp相关的进程:

重启后通过如下命令观察NTP的运行状态:

这个命令可以列出目前我们的 NTP 与相关的上层 NTP 的状态,上头的几个字段的意义为:

driftfile /etc/ntp/drift

语法为: restrict IP地址 mask 子网掩码 参数

其中IP地址也可以是default ,default 就是指所有的IP

参考 《ubuntu安装和使用NTP》

为了便于日常管理,公司网络内所有主机及服务器均已加入到了域环境内。采用自建的Exchange实现办公邮件的收发。但前些天突然出现邮件无法收发的情况,经排查发现,是由于Exchange服务器与域控服务器时间异常,时间差值大于5分钟所导致。在调整完时间后邮件恢复正常,为了防止再次出现此类故障,故决定通过域控来为域成员同步时间,而域控本身与阿里云的NTP同步时间。

配置分为两步:第一步为域控服务器配置与阿里云NTP的时间同步;第二步通过组策略实现域内成员同步域控服务器的时间。

一、域控服务器配置NTP

1、 添加时间服务器地址(域名或IP)(下面这个键存放着时间服务器列表)

在右边窗口点右键新建“字符串值”,将此“字符串值”命名为6。双击此新建的“字符串值”,输入地址:ntp.aliyun.com,保存。将“默认”(即第一个“字符串值”)修改为6即可。前面的几个时间服务器分别为:

2、 指定时间源

3、 设置校时周期

4、重启服务

重启服务net stop w32time&net start w32time

5、验证配置情况

二、配置权威服务器及组策略

1、设置权威服务器

在域控服务器上打开注册表,找到键值

2、 启用 NTPServer

3、配置组策略,设置时间同步

4、域内成员同步策略

刷新组策略指令:gpupdate /force

重启服务net stop w32time&net start w32time

5、域内成员验证配置

三、填坑说明

如果在“Default Domain Policy”下添加时间同步策略,将会导致域控服务器也获取并执行策略,由于组策略的优先级较高,导致第一步配置的与阿里云NTP同步策略失效。使得域控服务器本身的时间准确性得不到保证。因此通过新建组织单位的方式,对除了域控服务器以外的计算机下发该策略。确保所有成员时间准确。

技术准备:

开通dts

开通datahub

开通kafka队列(0.10版),按时付费每小时2.35元

开通hbase serverless版,每小时0.01元

开通flink1.11全托管版

数据流程:

polardb->dts->datahub->flink->kafka->flink->hbase

为什么还需要datahub传输到kafka,而不直接通过dts到kafka,因为dts同步的时候多张表只能选择到一个topic,而datahub可以同步到多个topic。

注意:关于dts同步数据到datahub的说明如下图:

将polardb的表rb_test2同步(当然也可以选择多张表),其表结构如下:

在Flink中关联datahub中的topic

在Flink中关联kafka中的topic

运行Flink作业,将datahub topic rb_test2数据实时写入kafka,如果是更新操作,只同步更新后的数据。

在hbase中添加表

在Flink中关联hbase

运行Flink作业同步到hbase

从polardb到hbase,时间大概会延迟2-3秒,如果中间转化过程比较多,那么这个时间会相应的增加。在hbase中获取值的时候,需要判断new_dts_sync_dts_operation_flag 为D的时候,这个值是被删除的。


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/764713.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-08-19
下一篇2023-08-19

发表评论

登录后才能评论

评论列表(0条)

    保存