AWS RDS MySQL 主从同步延迟总结

最近居然被 MySQL 主从同步的问题坑了, 简直丢尽了老司机的脸, 总结一下.

问题很简单, 一个业务由于 MySQL 主从同步延迟导致读取的数据有问题. 问题解决了, 但如何在 AWS RDS 中获取 MySQL 的延迟信息呢? 非 AWS RDS 的传统 MySQL 中, 可以直接连到 server 通过 SHOW SLAVE STATUS 获取延迟信息.

RDS 呢?

AWS 中大多数(我也不确定是不是所有服务)都接入了 Cloudwatch. Cloudwatch 的好处就是可以作为一个中间层抽象, 将不同系统的数据抽象成一个模型, 统一通过 Cloudwatch API 访问. 就拿主从延迟来说, MySQL/MariaDB 和 PostgeSQL 的计算方法显然是不一样的:

因此, 只要通过 Cloudwatch API 获取 ReplicaLag 这个 metric 的值就可以判断主从同步延迟, 不管是哪种 DB

看上去挺简单的 API, 还是需要"进城手册", 避免挠头:

由于 Cloudwatch 支持的最细颗粒度的 metric 是1分钟, 因此仅仅获取前一分钟的数据可能会有 Cloudwatch 数据还未抓取到的问题.

建议是获取前一段时间(比如10分钟)的数据, 确保前10分钟的 ReplicaLag 都为0(或者小于一个可以接受的值), 则认为现在的状态是满足数据需求的.

MySQL 主从同步从入行就知道是需要重点关注的, 结果还是忽略了一下就掉坑里了. AWS Cloudwatch 也支持根据 ReplicaLag 的值直接告警的, 建议一定要设置一个.

亚马逊发生了什么

亚马逊发生了什么，亚马逊一开始只经营网络的书籍销售业务，现在则扩及了范围相当广的其他产品，已成为全球商品品种最多的网上零售商和全球第二大互联网企业，亚马逊发生了什么。

亚马逊发生了什么1

意大利竞争与市场管理局（AGCM）网站12月9日发布声明称，该机构将就滥用市场地位的行为对亚马逊处以超11、28亿欧元罚款。

意大利竞争与市场管理局表示，亚马逊在服务和物流领域的做法损害了其他市场参与者。

12月7日，亚马逊旗下云计算服务遭遇大面积故障，导致关联的一些网站和服务瘫痪，波及上万用户，配送业务的厢式货车也因AWS故障而处于停运状态。对此，该公司云计算服务回应称，仍在努力设法全面恢复服务。

大面积宕机7小时 波及上万用户

美东时间周二，亚马逊云服务（AWS）出现宕机，不仅导致其旗下包括Prime Music等在内的大量网站和APP无法正常访问，Disney Plus等由亚马逊云服务托管的外部服务也出现问题。

亚马逊云服务（AWS）发布公告称，目前已经找到“错误率增加”的根本原因，正在积极努力恢复，但并未说明恢复时间和具体原因。亚马逊云服务表示，出现问题的服务器主要在美国东部地区，并非亚马逊云计算所有的客户都受到这一次故障的影响，目前正在引导客户从其他地区的服务器登录。

（网经社注：图片采集自亚马逊云）

据悉，这次故障开始于美国东部时间当天早上11点，截至美东时间上午11点20分左右，已有超过2万名用户报告了相关故障。到下午1点45分，亚马逊云服务的故障报告率已下降近半，亚马逊网站的故障率则下降了三分之二。

今年7月，亚马逊线上购物网站也出现过类似的问题，当时网站中断服务近两个小时，波及逾3、8万名用户。

亚马逊发生了什么2

IT之家 12 月 9 日消息，意大利竞争与市场管理局（AGCM）网站 12 月 9 日发布声明称，该机构将就滥用市场地位的行为对亚马逊处以 11、28 亿欧元罚款。

IT之家了解到，意大利竞争与市场管理局表示，亚马逊在服务和物流领域的做法损害了其他市场参与者。

值得一提的是，上个月，意大利竞争监管机构对亚马逊公司和苹果公司处以总额超过 2 亿欧元（合 2、25 亿美元）的罚款。该监管机构要求苹果公司赔偿 1、345 亿欧元，要求电子商务企业亚马逊赔偿 6870 万欧元，理由是它们实施的.限制 —— 这些限制对苹果产品以及 Beats 产品的销售商进行惩罚 —— 违反了欧盟的法律。

亚马逊公司（Amazon，简称亚马逊；NASDAQ：AMZN），是美国最大的一家网络电子商务公司，位于华盛顿州的西雅图。是网络上最早开始经营电子商务的公司之一，亚马逊成立于1994年， 一开始只经营网络的书籍销售业务，现在则扩及了范围相当广的其他产品，已成为全球商品品种最多的网上零售商和全球第二大互联网企业，在公司名下，也包括了AlexaInternet、a9、lab126、和互联网电影数据库（Internet Movie Database，IMDB）等子公司。

亚马逊及其它销售商为客户提供数百万种独特的全新、翻新及二手商品，如图书、影视、音乐和游戏、数码下载、电子和电脑、家居园艺用品、玩具、婴幼儿用品、食品、服饰、鞋类和珠宝、健康和个人护理用品、体育及户外用品、玩具、汽车及工业产品等。

亚马逊发生了什么3

北京时间12月9日下午消息，据报道，意大利反垄断机构表示，亚马逊因涉嫌滥用市场支配地位被处以超过11、28亿欧元的罚款。

获悉，美国时间周二上午10点30分，Amazon AWS云服务器突发故障，致互联网的大量数据加载缓慢或无法正常工作，超过2万名用户报告了相关故障。

亚马逊官方在网路中断的1个小时之后发布了相关公告，确认了故障，导致此次大面积网络中断的根本原因是US-EAST-1地区的部分网络设备受损。

亚马逊服务器突发故障

此次的大面积故障，可谓是飞来横祸，后台数据延迟、派送延误、广告曝光减少、秒杀活动中断，给卖家朋友们带来了一系列影响：

1、卡车派送宕机

亚马逊AMS遭遇大面积故障，导致仓库和送货工人以及亚马逊Flex服务的司机，他们无法访问Flex应用程序或A to Z应用程序，仓库工人无法扫描包裹或访问送货路线，卡车服务商无法送仓，导致亚马逊仓库运营和配送业务发生中断。

2、卖家后台出现多处BUG

有卖家表示无法访问亚马逊卖家中心；有卖家在点击系统时频繁报错；广告系统也一度出现崩溃，曝光量几乎只有平时的五分之一；与此同时后台数据出现延迟，订单页面长时间没有更新，许多卖家一个晚上一单未出，在此前的封号高压之下一度以为自己是被封号。

3、网络平台连带影响

此次亚马逊的故障直接导致所有依靠其服务器的网络服务平台跟着出现问题：包括亚马逊Alexa、Amazon Flex、Prime Video以及在美国人使用最多的迪士尼+、Netflix、Slack、Ticketmaster、股票交易应用程序Robinhood和美国最大的加密【货币】交易所Coinbase。

电子发烧友网报道（文/黄山明）近日，据外媒报道，亚马逊云服务（AWS）发生宕机事故，导致大面积网站、服务和应用程序瘫痪，直接后果是造成亚马逊电商业务交付混乱、货物堆积。而这也不是今年亚马逊第一次发生服务器宕机事故。

据了解，此次AWS的宕机对于亚马逊配送业务造成严重影响，导致许多司机无法获得配送路线，无法为用户配送快递。同时，使用AWS的众多厂商也受到了影响，如Facebook、迪士尼+、Netflix、任天堂等。

不安分的服务器

就在美国时间12月7日，AWS出现宕机，导致旗下的Prime Music、Prime Video、Alexa在内的大量网站和APP无法正常访问，也让许多使用AWS云服务的企业蒙受损失。

如任天堂便在12月8日凌晨宣布旗下Switch网络服务大规模瘫痪，推测主要原因可能是与导入AWS云服务有关。尽管亚马逊方面迅速进行了抢修，但是此次事故仍然给亚马逊云服务带来了不小的损失。

据相关报告统计，此次AWS云服务器故障导致亚马逊带来的损失或将超过1800万美元（折合人民币1.14亿）。并且这也不是亚马逊今年第一次出现服务器宕机，今年的7月份以及10月份都已经出现过服务网络中断的问题。

当然，服务器宕机的情况并不是亚马逊专属，中国的许多企业便经历过服务器宕机事故。2019年3月份，阿里云出现大规模宕机故障，影响了数量众多的华北地区互联网公司，故障原因是IO Hang（即因为IO错误造成的IO路径阻塞，导致数据拷贝异常缓慢），最终也对阿里云造成了较大的经济损失。

---