大文件导入 MYSQL,如何最快速

大文件导入 MYSQL,如何最快速,第1张

一般的数据备份用 :mysql路径+bin/mysqldump -u 用户名 -p 数据库名 >导出的文件名

数据还原是:到mysql命令行下面,用:source   文件名的方法

但是这种方法对大数据量的表进行操作就非常慢。因为他不仅导出了数据还导出了表结构。

在针对大数据量的表时,我们可以用infile和 outfile来操作。

outfile导出数据库数据的用法:

下图我们可以看到6百多万数据35秒就搞定了:

下面我们看看infile的语法:

在infile导入数据的时候,我们还可以做一些优化。我们可以用

alter table table_name disable keys   关闭普通索引。等数据导入玩,再用:

alter table table_name enable keys    来开启普通索引。这样就不会边导入数据,边整理索引的二叉树儿影响导数据的效率。

如果可以保证 数据的正确性,我们可以将表的唯一索引也关闭,之后再开启,不是每条数据就算是唯一的他都要去检测一遍。命令:

set unique_checks=0 #关闭唯一校验

set unique_checks=1#开启唯一校验

如果是InnoDB存储引擎,我们还可以set auto commit=0关闭自动提交,来提高效率。InnoDB是按主键的顺序保存的,我们将其主键顺序排列也可以提高效率。

下面我们对myisam引擎的表做个测试,我们先不关索引,导入数据(用了近4分钟):

然后我们先把索引关闭试试(只用了一分钟多一点,快了不少啊!摸摸大!):

方法一,从已有大数据表中检索大量数据插入到目标表里

方法二,编写存储过程,利用循环向数据表中插入大量的固定或有规律变化或随机变化的虚拟数据

方法三,通过应用程序端编程向目标表插入大量的数据,手法与方法二类似。

方法一,从已有大数据表中检索大量数据插入到目标表里

方法二,编写存储过程,利用循环向数据表中插入大量的固定或有规律变化或随机变化的虚拟数据

方法三,通过应用程序端编程向目标表插入大量的数据,手法与方法二类似。


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/54635.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-02-26
下一篇2023-02-26

发表评论

登录后才能评论

评论列表(0条)

    保存