最快的 MySQL 导入工具:Loader 使用文档

Loader 是由 PingCAP 开发数据导入工具,可以用于向 TiDB 中导入数据,也可以用于向 MySQL 中导入数据 ( 源码地址请点击阅读原文 ) 本篇文章将详细介绍 Loader 的使用方法。

为什么我们要做这个东西

当数据量比较大的时候,如果用 mysqldump 这样的工具迁移数据会比较慢。我们尝试了 Percona 的 mydumper/myloader 套件,能够多线程导出和导入数据。在使用过程中,mydumper 问题不大,但是 myloader 由于缺乏出错重试、断点续传这样的功能,使用起来很不方便。所以我们开发了 loader,能够读取 mydumper 的输出数据文件,通过 mysql protocol 向 TiDB/MySQL 中导入数据。

Loader 有哪些优点

  • 线程导入

  • 支持 mydumper 数据格式

  • 出错重试

  • 断点续导

  • 通过 system variable 优化 TiDB 导入数据速度

使用方法

参数说明

最快的 MySQL 导入工具:Loader 使用文档

配置文件

除了使用命令行参数外,还可以使用配置文件来配置,配置文件的格式如下:

最快的 MySQL 导入工具:Loader 使用文档

使用示例

通过命令行参数:

./bin/loader -d ./test -h 127.0.0.1 -u root -P 4000

或者使用配置文件 "config.toml":

./bin/loader -c=config.toml

注意事项

如果使用默认的 checkpoint 文件,在导完一个 database 数据后,请删除 loader.checkpoint 后再开始导入下一个 database。推荐每个数据库导入的时候,明确指定 checkpoint 文件名。

延展阅读

TiDB 源码剖析

TiDB 增加 MySQL 内建函数

Percolator 和 TiDB 事务算法

最快的 MySQL 导入工具:Loader 使用文档

分布式 NewSQL 数据库

www.pingcap.com


最快的 MySQL 导入工具:Loader 使用文档 微信ID:pingcap2015

最快的 MySQL 导入工具:Loader 使用文档 长按左侧二维码关注

原文 

http://mp.weixin.qq.com/s?__biz=MzI3NDIxNTQyOQ==&mid=2247484368&idx=1&sn=6b2f9e2aa6da86e3e5e20f8e53511ad0&chksm=eb1624badc61adacc901ad6c0ab53678834a1c9da3bab9b52c586d4a677ed7f4d0aa4dfa9806

PS:如果您想和业内技术大牛交流的话,请加qq群(527933790)或者关注微信公众 号(AskHarries),谢谢!

转载请注明原文出处:Harries Blog™ » 最快的 MySQL 导入工具:Loader 使用文档

赞 (0)

分享到:更多 ()

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址