《阿里云NTP服务器》
《配置Linux实例NTP服务》
在开启服务前，先确保环境配置：
文档 《配置Linux实例NTP服务》 中介绍了CentOS环境下开启NTP服务。
由于本人购买的Ubuntu服务器，下面总结Ubuntu环境下的配置。
执行命令查询所有服务，看ntp服务是否已开启(+号：已开启；-号：未开启):
发现香港地区的服务默认都没有开启ntp服务；但深圳地区的服务器默认已经开启了ntp服务。
执行命令查询ntp进程，发现深圳服务器默认已经开启了ntp服务：
如果未开启ntp服务，执行命令开启ntp服务：
开启成功后，如图：
或者查询ntp相关的进程：
重启后通过如下命令观察NTP的运行状态：
这个命令可以列出目前我们的 NTP 与相关的上层 NTP 的状态，上头的几个字段的意义为：
driftfile /etc/ntp/drift
语法为： restrict IP地址 mask 子网掩码 参数
其中IP地址也可以是default ，default 就是指所有的IP
参考 《ubuntu安装和使用NTP》
为了便于日常管理，公司网络内所有主机及服务器均已加入到了域环境内。采用自建的Exchange实现办公邮件的收发。但前些天突然出现邮件无法收发的情况，经排查发现，是由于Exchange服务器与域控服务器时间异常，时间差值大于5分钟所导致。在调整完时间后邮件恢复正常，为了防止再次出现此类故障，故决定通过域控来为域成员同步时间，而域控本身与阿里云的NTP同步时间。
配置分为两步：第一步为域控服务器配置与阿里云NTP的时间同步；第二步通过组策略实现域内成员同步域控服务器的时间。
一、域控服务器配置NTP
1、 添加时间服务器地址（域名或IP）（下面这个键存放着时间服务器列表）
在右边窗口点右键新建“字符串值”，将此“字符串值”命名为6。双击此新建的“字符串值”，输入地址：ntp.aliyun.com，保存。将“默认”（即第一个“字符串值”）修改为6即可。前面的几个时间服务器分别为：
2、 指定时间源
3、 设置校时周期
4、重启服务
重启服务net stop w32time&net start w32time
5、验证配置情况
二、配置权威服务器及组策略
1、设置权威服务器
在域控服务器上打开注册表，找到键值
2、 启用 NTPServer
3、配置组策略，设置时间同步
4、域内成员同步策略
刷新组策略指令：gpupdate /force
重启服务net stop w32time&net start w32time
5、域内成员验证配置
三、填坑说明
如果在“Default Domain Policy”下添加时间同步策略，将会导致域控服务器也获取并执行策略，由于组策略的优先级较高，导致第一步配置的与阿里云NTP同步策略失效。使得域控服务器本身的时间准确性得不到保证。因此通过新建组织单位的方式，对除了域控服务器以外的计算机下发该策略。确保所有成员时间准确。
Prometheus 实现邮件告警（Prometheus+Alertmanager+QQ邮箱或者网易163邮箱，目前测试过这两种邮箱都可以发送告警邮件）
Prometheus实现邮件告警原理如下：
Prometheus官方有一个附带的中间件：alertmanager，通过设置rules规则和路由转发可以实现邮件告警，前提是你需要有一个可以发送邮件的邮件服务端（可以自建或者使用互联网公司提供的免费邮箱）
告警原理图
Prometheus完整架构图
我之前得出的错误结论如下：
推荐直接在虚拟机操作系统上直接安装Prometheus和Alertmanager，不推荐其中任何一方在容器中运行，因为测试过在容器中运行Prometheus和alertmanager，结果出现如下错误情况
第一种情况是：我的node-exporter掉线跌机了（手动关机，模拟突然掉线跌机），Prometheus却提示节点依然在线？有时候却能够正常显示节点掉线跌机，生成告警发送邮件
第二种情况是：我的node-exporter掉线跌机了（手动关机，模拟突然掉线跌机），Prometheus提示节点掉线，告警生成，但是没有发送邮件，我手动恢复node-exporter后，告警解除，邮件能正常发送邮件提示告警已经解除。。。。
第三种情况是：我的node-exporter掉线跌机了（手动关机，模拟突然掉线跌机），Prometheus提示节点掉线，告警生成，正常成功发送邮件，我手动恢复node-exporter后，告警解除，邮件没有发送出来。。。。
以上三种情况之前经常出现，当时第一步以为是自己设置的scrape_interval不合理导致的，结果调试几次，问题没有解决，第二步以为是自己的服务器时间没有做到精确同步，然后我去设置和阿里云的ntp服务器同步，结果问题依然没有解决，第三步，换个方向，把alertmanager迁移到虚拟机操作系统上安装运行，问题解决！
北京时间是GMT+8小时，有些同志的时间可能是UTC的，但是如果是在要求不太十分精确的情况下，UTC时间是刚刚好等于GMT时间
为了避免时区的混乱，prometheus所有的组件内部都强制使用Unix时间，对外展示使用GMT时间。
要改时区有两个办法
1 .修改源码，重新编译。
2. 使用 docker 运行 Prometheus，挂载本地时区文件
docker run --restart always -e TZ=Asia/Shanghai --hostname prometheus --name prometheus-server -d -p 9090:9090 -v /data/prometheus/server/data:/prometheus -v /data/prometheus/server/conf/prometheus.yml:/etc/prometheus/prometheus.yml -u root prom/prometheus:v2.5.0
正文开始
安装alertmanager
容器安装方式：
docker run -d --name alertmanager -p 9093:9093 -v /usr/local/Prometheus/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml prom/alertmanager:latest
先在宿主机/usr/local/Prometheus下创建一个文件夹alertmanager，然后在文件夹里创建alertmanager.yml配置文件，待会才能映射到alertmanager容器里的/etc/alertmanager目录下
global：全局配置
resolve_timeout: 问题解决的超时时间
smtp_from: 发送告警邮件的邮箱账号
smtp_smarthost: 邮箱 SMTP 服务地址,这里是以QQ邮箱为例，也可以用网易163邮箱，这个和我之前设置zabbix邮件告警时的配置一样
smtp_auth_username: 如果没有设置邮箱别名，那就是账户名
smtp_auth_password: 邮箱的授权码，不是 账户密码，你可以在QQ邮箱或者网易163邮箱网页端设置，开启 POP3/SMTP 服务时会提示，和配置zabbix邮件告警的时候几乎一样
smtp_require_tls: 是否使用 tls，根据环境不同，来选择开启和关闭。如果提示报错 email.loginAuth failed: 530 Must issue a STARTTLS command first，那么就需要设置为 true。着重说明一下，如果开启了 tls，提示报错 starttls failed: x509: certificate signed by unknown authority，需要在 email_configs 下配置 insecure_skip_verify: true 来跳过 tls 验证。
templates： 告警模板目录，可以不编写模板，有默认模板
Subject: '{{ template "email.default.subject" . }}'
html: '{{ template "email.default.html" . }}'
route：报警的分发设置
group_by：分组
group_wait: 分组等待时间
group_interval: 5m 每组时间间隔
repeat_interval: 10m 重复间隔
receiver: 接收方式，请注意！这里的名字要对应下面receivers中的任何一个名字，不然会报错，这里其实就是选择方式，有邮箱，企业微信，wehook，victorops等等
receivers：接受方式汇总，即告警方式汇总
例子：
receivers:
- name:'default-receiver'
email_configs:
- to:'whiiip@163.com'
html: '{{ template "alert.html" . }}'
headers: { Subject: "[WARN] 报警邮件test"}
inhibit_rules: 抑制规则
当存在与另一组匹配的警报（源）时，抑制规则将禁用与一组匹配的警报（目标）。
包括源匹配和目标匹配
alertmanager官方是这样说的
Inhibition
Inhibition is a concept of suppressing notifications for certain alerts if certain other alerts are already firing.
Example: An alert is firing that informs that an entire cluster is not reachable. Alertmanager can be configured to mute all other alerts concerning this cluster if that particular alert is firing. This prevents notifications for hundreds or thousands of firing alerts that are unrelated to the actual issue.
Inhibitions are configured through the Alertmanager's configuration file.
当存在与另一组匹配器匹配的警报（源）时，禁止规则会使与一组匹配器匹配的警报（目标）静音。目标警报和源警报的equal列表中的标签名称都必须具有相同的标签值。
在语义上，缺少标签和带有空值的标签是同一件事。因此，如果equal源警报和目标警报都缺少列出的所有标签名称，则将应用禁止规则。
为了防止警报禁止自身，与规则的目标和源端 都 匹配的警报不能被警报（包括其本身）为真来禁止。但是，我们建议选择目标匹配器和源匹配器，以使警报永远不会同时匹配双方。这很容易进行推理，并且不会触发此特殊情况。
接着是规则rules
不解释了，自己研究官方文档
alertmanager的非容器安装方式是
wget https://github.com/prometheus/alertmanager/releases/download/v0.20.0/alertmanager-0.20.0.linux-amd64.tar.gz
tar xf alertmanager-0.20.0.linux-amd64.tar.gz
mv alertmanager-0.20.0.linux-amd64 /usr/local/alertmanager
vim /usr/lib/systemd/system/alertmanager.service
[Unit]
Description=alertmanager
Documentation=https://github.com/prometheus/alertmanager
After=network.target
[Service]
Type=simple
User=root
ExecStart=/usr/local/alertmanager/alertmanager --config.file=/usr/local/alertmanager/alertmanager.yml
Restart=on-failure
[Install]
WantedBy=multi-user.target
Alertmanager 安装目录下默认有 alertmanager.yml 配置文件，可以创建新的配置文件，在启动时指定即可。
其余方式和上面一样
接着是Prometheus，我之前的博客里有写了容器安装和非容器安装的方法，自己去翻阅
然后是在prometheus.yml里修改相关配置
首先去掉alertmanager的注释，改成IP加你设置的端口号，默认是9093
接着在rule_files: 下面写下规则文件的绝对路径，可以是具体文件名，也可以是*，也可以分几级文件，*默认是全部匹配
接着是被监控项的设置，这里设置完成可以在Prometheus网页里的targets里看得到
请注意，这里设置的参数名字要和rule规则中设置的参数名字一模一样，否则你的prometheus服务会无法启动，然后报错
如果不在特定的job下设置scrape_interval（优先级高于全局）,则默认采用gobal下的scrape_interval
最后模拟节点掉线，手动关闭node-exporter或者Cadvisor
docker stop node-exporter 或者容器ID
docker stop cadvisor 或者容器ID
或者把up{{job='prometheus'}} == 1 设置成1，反向设置，不用关掉服务，就可以看看告警成不成功
说明一下 Prometheus Alert 告警状态有三种状态：Inactive、Pending、Firing。
Inactive：非活动状态，表示正在监控，但是还未有任何警报触发。
Pending：表示这个警报必须被触发。由于警报可以被分组、压抑/抑制或静默/静音，所以等待验证，一旦所有的验证都通过，则将转到 Firing 状态。
Firing：将警报发送到 AlertManager，它将按照配置将警报的发送给所有接收者。一旦警报解除，则将状态转到 Inactive，如此循环。
没有配置告警模板时的默认告警格式是这样的
节点恢复后邮件告知是这样的
写了模板后是这样的
还要重新映射模板文件夹路径到alertmanager容器里的相对路径，然后重启alertmanager，当然，如果目录下没有模板文件，则不显示
告警模板
在alertmanager.yml中修改相关设置
重启alertmanager
docker restart alertmanager
最终效果不是很好
欢迎分享，转载请注明来源：夏雨云
微信扫一扫
支付宝扫一扫
评论列表（0条）