mysql怎么获取增量数据信息简书

用时间检出数据。mysql获取增量数据信息简书的方法是以时间字段为条件，检出新增数据列出简书，MySQL是一个关系型数据库管理系统，是最流行的关系型数据库管理系统之一，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

同步业务库的数据到ODS层，之前一直是全量同步数据，主要考虑IO太大，耗时太长，重复拉取同样的数据，现在考虑增量同步的方式实现，同时对库表数据做分区。

增量同步主要分为两步，第一步，存量数据一次性同步；第二步，在存量数据的基础之上，做增量；后期的每一次同步都是增量同步。以下是具体同步方案：

用Sqoop同步表中全部数据到Hive表中；

a．根据hive中最大更新时间，用Sqoop提取更新时间为这个时间之后的增量数据；

1）获取表的所有列，把datetime和timestamp类型，统一在java中映射成TIMESTAMP类型，脚本如下：

2） 用sqoop import拉取数据，脚本如下：

1）创建增量同步的sqoop job，脚本如下：

a、从hive中获取表的最大更新时间

b、以上面获取的最大更新时间，作为起点，创建sqoop job，脚本如下：

c、创建sqoop job之后，就是执行job了，脚本如下：

具体参数详解，参考： https://www.cnblogs.com/Alcesttt/p/11432547.html

1：官方百万级别的测试数据库：

官方测试数据库github网址：https://github.com/datacharmer/test_db

下载到目录，解压即可，运行命令：

2：自己创建简单测试数据库：

快速随机生成测试语言的网站：https://generatedata.com/

选择sql和想生成的字段，点击生成Generate!生成即可。

在MySQL输入生成的语句即可。

3：测试备份还原时用到的命令

删库跑路测试（先备份好）

还原后查询库的表数据是否完整。

采用复制整个数据存放目录

1：查看数据库数据存放位置

有两种方法：

1)：在数据库中用命令 show variables like 'datadir' 查看

2)：在配置文件中查看，配置了 datadir 目录的可查看。没有配置的默认为 /var/lib/mysql/ 位置

Linux中查看配置文件

2：复制目录或者目录下某个数据库名

3：还原时直接复制文件夹到数据库目录即可

mysqldump又可叫做全量备份。

参数 --databases 同 -B ，单独一个库，也可省略。

1、备份命令mysqldump格式

格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 database 数据库名 >文件名.sql

备份testDatabase数据库

2、备份MySQL数据库为带删除表的格式

备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。

3、直接将MySQL数据库压缩备份

备份并压缩

4、备份MySQL数据库某个(些)表

备份testDatabase中的myTable表，不需要用参数 --databases 或者 -B

5、同时备份多个MySQL数据库

同时备份testDatabase和 employees两个库

6、备份服务器上所有数据库

参数 --all-databases 同 -A

7、还原MySQL数据库的命令

1) 不指定数据名还原，默认生成原数据库名称，还原所有数据库。

2) 指定数据名还原，还原指定单个数据库，需在数据库种预先创建一个testDatabase名称。

3) 还原压缩的MySQL数据库

4) 进入数据库用source导入

增量备份是针对于数据库的bin-log日志进行备份的，增量备份是在全量的基础上进行操作的。增量备份主要是靠mysql记录的bin-log日志。

1：查看是否开启bin-log日志

进入mysql输入命令可查看。

显示如下为开启状态，日志文件在/var/lib/mysql/以binlog.00001的格式保存。

如未开启，需要在配置文件种配置

2：查看目前使用的bin-log日志文件

进入mysql查看命令。

显示如下，目前使用的是binlog.000022文件，所有操作都记录在此文件。

查看当前testDatabase的表myTable数据如下，

3：刷新日志，使用新的日志文件（备份）

在命令端执行命令

日志文件从 binlog.000022 变为 binlog.000023

这时相当与已经备份成功，备份文件即为上次的binlog.000022日志文件。

4：删除数量，从日志还原数据

1) 删除ABC行

查询以及没有ABC行列。

2) 恢复数据ABC行

退出mysql，在命令端用mysqlbinlog命令恢复到binlog.000022日志状态。

进入数据库再次查看数据，ABC已经恢复。

增量备份完成。

---