返回 登录
0

网易视频云:开源MYSQL多线程逻辑导入工具MYLOADER原理与改进

网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在,网易视频云与大家分享一下开源MYSQL多线程逻辑导入工具MYLOADER原理与改进.

本篇聊聊与mydumper配合使用的myloader工具。
myloader是MySQL领域少有的多线程的恢复工具,为了能够更好的理解其如何进行工作,有必要对mydumper所生成的备份结果进行简单介绍,下图即为mydumper 0.9.1版本所输出的备份目录结构:
1rds-user@import-blogbench-test:~$ ls mydumper-data/
2dumpdb.dumptable.00000.sql dumpdb.dumptable-schema.sql dumpdb-schema-post.sql
3dumpdb.dumptable.00001.sql dumpdb.dumptable-schema-triggers.sql metadata
4dumpdb.dumptable.00002.sql dumpdb.dumptable-schema-view.sql
5dumpdb.dumptable.00003.sql dumpdb-schema-create.sql

a、metadata保存一致性数据导出时的BinLog信息和导出开始和结束时间,形如:
1Started dump at: 2016-03-20 21:18:54
2SHOW MASTER STATUS:
3Log: mysql-bin.000027
4Pos: 350229576
5Finished dump at: 2016-03-20 21:19:04

b、dumpdb和dumptable分别表示导出的数据库和表的名称;
c、dumpdb-schema-create.sql和dumpdb-schema-post.sql分别保存数据库dumpdb的建库语句和该库的functions、procedures及events;
d、dumpdb.dumptable-schema.sql保存建表语句;dumpdb.dumptable-schema-view.sql保存表相关视图;dumpdb.dumptable-schema-triggers.sql保存表相关的触发器;
e、dumpdb.dumptable.00000.sql ~ dumpdb.dumptable.00003.sql保存dumptable表所导出的数据
可将整个过程分为三个阶段:
1. 首先由myloader主线程完成建库建表,依次将备份目录下dumpdb-schema-create.sql和dumpdb.dumptable-schema.sql中的建库和建表语句应用到目标数据库实例中;
2. 接着myloader主线程会生成多个工作线程,由这些工作线程将所有dumpdb.dumptable..sql文件中的记录导入到对应表中,这个阶段是并行的,并行粒度为文件,工作线程完成所有dumpdb.dumptable..sql文件数据导入后销毁;
3. 最后主线程将dumpdb-schema-post.sql、dumpdb.dumptable-schema-view.sql和dumpdb.dumptable-schema-triggers.sql文件中存在的schema导入对应数据库和表中
myloader参数比较简单,主要有如下几个:
-d,指定待恢复的备份目录,注意,该目录必须是mydumper生成的,myloader会判断该目录下是否存在metadata文件;
-q,即queries-per-transaction,表示在工作线程导入表数据时,多少条记录做一次commit,默认为1000;
-o,该参数作用于myloader第一阶段,为true时会删除目标数据库实例对应数据库下的同名表;
-B,表示恢复时,将表恢复到指定的数据库中;
-s,该参数为myloader 0.9.1新增参数,用于恢复备份目录中指定的数据库;
-e,表示在恢复时开启BinLog;
-t,表示主线程需要创建的工作线程数目,影响myloader数据恢复并发度,需要综合存储IO性能等因素确定具体值。
网易RDS对myloader工具做了以下几点优化:
增强-s参数,官方版本-s仅能指定某个数据库,网易RDS对其进行了增强,可以指定多个数据库;
增加-M参数,用于在多线程情况下,调节数据并发度,如设置Threads_running=100,则工作线程在读取每个数据文件前,会先判断当前数据库实例负载是否达到或超过该值,若是,则该工作线程暂时进入休眠状态;
与mydumper相似,网易RDS为myloader也增加了进度查询功能,能够查询工作线程所需执行的所有导入任务数、当前已经完成的导入任务数及每个导入任务所花费时间。

评论