- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章MySQL Shell import_table数据导入的实现由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
1. import_table介绍 。
2. Load Data 与 import table功能示例上期技术分享我们介绍了MySQL Load Data的4种常用的方法将文本数据导入到MySQL,这一期我们继续介绍另一款更加高效的数据导入工具,MySQL Shell 工具集中的import_table,该工具的全称是Parallel Table Import Utility,顾名思义,支持并发数据导入,该工具在MySQL Shell 8.0.23版本后,功能更加完善, 以下列举该工具的核心功能 。
- 基本覆盖了MySQL Data Load的所有功能,可以作为替代品使用
- 默认支持并发导入(支持自定义chunk大小)
- 支持通配符匹配多个文件同时导入到一张表(非常适用于相同结构数据汇总到一张表)
- 支持限速(对带宽使用有要求的场景,非常合适)
- 支持对压缩文件处理
- 支持导入到5.7及以上MySQL
该部分针对import table和Load Data相同的功能做命令示例演示,我们依旧以导入employees表的示例数据为例,演示MySQL Load Data的综合场景 。
- 数据自定义顺序导入
- 数据函数处理
- 自定义数据取值
|
## 示例数据如下 |
|
[root@10-186-61-162 tmp]# cat employees_01.csv |
|
"10001","1953-09-02","Georgi","Facello","M","1986-06-26" |
|
"10003","1959-12-03","Parto","Bamford","M","1986-08-28" |
|
"10002","1964-06-02","Bezalel","Simmel","F","1985-11-21" |
|
"10004","1954-05-01","Chirstian","Koblick","M","1986-12-01" |
|
"10005","1955-01-21","Kyoichi","Maliniak","M","1989-09-12" |
|
"10006","1953-04-20","Anneke","Preusig","F","1989-06-02" |
|
"10007","1957-05-23","Tzvetan","Zielinski","F","1989-02-10" |
|
"10008","1958-02-19","Saniya","Kalloufi","M","1994-09-15" |
|
"10009","1952-04-19","Sumant","Peac","F","1985-02-18" |
|
"10010","1963-06-01","Duangkaew","Piveteau","F","1989-08-24" |
|
|
|
## 示例表结构 |
|
10.186.61.162:3306 employees SQL > desc emp; |
|
+-------------+---------------+------+-----+---------+-------+ |
|
| Field | Type | Null | Key | Default | Extra | |
|
+-------------+---------------+------+-----+---------+-------+ |
|
| emp_no | int | NO | PRI | NULL | | |
|
| birth_date | date | NO | | NULL | | |
|
| first_name | varchar(14) | NO | | NULL | | |
|
| last_name | varchar(16) | NO | | NULL | | |
|
| full_name | varchar(64) | YES | | NULL | | -- 表新增字段,导出数据文件中不存在 |
|
| gender | enum('M','F') | NO | | NULL | | |
|
| hire_date | date | NO | | NULL | | |
|
| modify_date | datetime | YES | | NULL | | -- 表新增字段,导出数据文件中不存在 |
|
| delete_flag | varchar(1) | YES | | NULL | | -- 表新增字段,导出数据文件中不存在 |
|
+-------------+---------------+------+-----+---------+-------+ |
具体参数含义不做说明,需要了解语法规则及含义可查看系列上一篇文章<MySQL Load Data的多种用法> 。
|
load data infile '/data/mysql/3306/tmp/employees_01.csv' |
|
into table employees.emp |
|
character set utf8mb4 |
|
fields terminated by ',' |
|
enclosed by '"' |
|
lines terminated by '\n' |
|
(@C1,@C2,@C3,@C4,@C5,@C6) |
|
set emp_no=@C1, |
|
birth_date=@C2, |
|
first_name=upper(@C3), |
|
last_name=lower(@C4), |
|
full_name=concat(first_name,' ',last_name), |
|
gender=@C5, |
|
hire_date=@C6 , |
|
modify_date=now(), |
|
delete_flag=if(hire_date<'1988-01-01','Y','N'); |
2.2 用import_table方式导入数据
|
util.import_table( |
|
[ |
|
"/data/mysql/3306/tmp/employees_01.csv", |
|
], |
|
{ |
|
"schema": "employees", |
|
"table": "emp", |
|
"dialect": "csv-unix", |
|
"skipRows": 0, |
|
"showProgress": True, |
|
"characterSet": "utf8mb4", |
|
"columns": [1,2,3,4,5,6], ## 文件中多少个列就用多少个序号标识就行 |
|
"decodeColumns": { |
|
"emp_no": "@1", ## 对应文件中的第1列 |
|
"birth_date": "@2", ## 对应文件中的第2个列 |
|
"first_name": "upper(@3)", ## 对应文件中的第3个列,并做转为大写的处理 |
|
"last_name": "lower(@4)", ## 对应文件中的第4个列,并做转为大写的处理 |
|
"full_name": "concat(@3,' ',@4)", ## 将文件中的第3,4列合并成一列生成表中字段值 |
|
"gender": "@5", ## 对应文件中的第5个列 |
|
"hire_date": "@6", ## 对应文件中的第6个列 |
|
"modify_date": "now()", ## 用函数生成表中字段值 |
|
"delete_flag": "if(@6<'1988-01-01','Y','N')" ## 基于文件中第6列做逻辑判断,生成表中对应字段值 |
|
} |
|
}) |
3. import_table特定功能 3.1 多文件导入(模糊匹配)
|
## 在导入前我生成好了3分单独的employees文件,导出的结构一致 |
|
[root@10-186-61-162 tmp]# ls -lh |
|
总用量 1.9G |
|
-rw-r----- 1 mysql mysql 579 3月 24 19:07 employees_01.csv |
|
-rw-r----- 1 mysql mysql 584 3月 24 18:48 employees_02.csv |
|
-rw-r----- 1 mysql mysql 576 3月 24 18:48 employees_03.csv |
|
-rw-r----- 1 mysql mysql 1.9G 3月 26 17:15 sbtest1.csv |
|
|
|
## 导入命令,其中对对文件用employees_*做模糊匹配 |
|
util.import_table( |
|
[ |
|
"/data/mysql/3306/tmp/employees_*", |
|
], |
|
{ |
|
"schema": "employees", |
|
"table": "emp", |
|
"dialect": "csv-unix", |
|
"skipRows": 0, |
|
"showProgress": True, |
|
"characterSet": "utf8mb4", |
|
"columns": [1,2,3,4,5,6], ## 文件中多少个列就用多少个序号标识就行 |
|
"decodeColumns": { |
|
"emp_no": "@1", ## 对应文件中的第1列 |
|
"birth_date": "@2", ## 对应文件中的第2个列 |
|
"first_name": "upper(@3)", ## 对应文件中的第3个列,并做转为大写的处理 |
|
"last_name": "lower(@4)", ## 对应文件中的第4个列,并做转为大写的处理 |
|
"full_name": "concat(@3,' ',@4)", ## 将文件中的第3,4列合并成一列生成表中字段值 |
|
"gender": "@5", ## 对应文件中的第5个列 |
|
"hire_date": "@6", ## 对应文件中的第6个列 |
|
"modify_date": "now()", ## 用函数生成表中字段值 |
|
"delete_flag": "if(@6<'1988-01-01','Y','N')" ## 基于文件中第6列做逻辑判断,生成表中对应字段值 |
|
} |
|
}) |
|
|
|
## 导入命令,其中对要导入的文件均明确指定其路径 |
|
util.import_table( |
|
[ |
|
"/data/mysql/3306/tmp/employees_01.csv", |
|
"/data/mysql/3306/tmp/employees_02.csv", |
|
"/data/mysql/3306/tmp/employees_03.csv" |
|
], |
|
{ |
|
"schema": "employees", |
|
"table": "emp", |
|
"dialect": "csv-unix", |
|
"skipRows": 0, |
|
"showProgress": True, |
|
"characterSet": "utf8mb4", |
|
"columns": [1,2,3,4,5,6], ## 文件中多少个列就用多少个序号标识就行 |
|
"decodeColumns": { |
|
"emp_no": "@1", ## 对应文件中的第1列 |
|
"birth_date": "@2", ## 对应文件中的第2个列 |
|
"first_name": "upper(@3)", ## 对应文件中的第3个列,并做转为大写的处理 |
|
"last_name": "lower(@4)", ## 对应文件中的第4个列,并做转为大写的处理 |
|
"full_name": "concat(@3,' ',@4)", ## 将文件中的第3,4列合并成一列生成表中字段值 |
|
"gender": "@5", ## 对应文件中的第5个列 |
|
"hire_date": "@6", ## 对应文件中的第6个列 |
|
"modify_date": "now()", ## 用函数生成表中字段值 |
|
"delete_flag": "if(@6<'1988-01-01','Y','N')" ## 基于文件中第6列做逻辑判断,生成表中对应字段值 |
|
} |
|
}) |
3.2 并发导入
在实验并发导入前我们创建一张1000W的sbtest1表(大约2G数据),做并发模拟,import_table用threads参数作为并发配置, 默认为8个并发. 。
|
|
|
[ ] |
|
总用量 1.9G |
|
-rw-r----- 1 mysql mysql 579 3月 24 19:07 employees_01.csv |
|
-rw-r----- 1 mysql mysql 584 3月 24 18:48 employees_02.csv |
|
-rw-r----- 1 mysql mysql 576 3月 24 18:48 employees_03.csv |
|
-rw-r----- 1 mysql mysql 1.9G 3月 26 17:15 sbtest1.csv |
|
|
|
|
|
util.import_table( |
|
[ |
|
, |
|
], |
|
{ |
|
"schema": "demo", |
|
"table": "sbtest1", |
|
"dialect": "csv-unix", |
|
"skipRows": 0, |
|
"showProgress": True, |
|
"characterSet": "utf8mb4", |
|
"threads": "8" |
|
}) |
3.3 导入速率控制
可以通过maxRate和threads来控制每个并发线程的导入数据,如,当前配置线程为4个,每个线程的速率为2M/s,则最高不会超过8M/s 。
|
util.import_table( |
|
[ |
|
, |
|
], |
|
{ |
|
"schema": "demo", |
|
"table": "sbtest1", |
|
"dialect": "csv-unix", |
|
"skipRows": 0, |
|
"showProgress": True, |
|
"characterSet": "utf8mb4", |
|
"threads": "4", |
|
"maxRate": "2M" |
|
}) |
3.4 自定义chunk大小
默认的chunk大小为50M,我们可以调整chunk的大小,减少事务大小,如我们将chunk大小调整为1M,则每个线程每次导入的数据量也相应减少 。
|
util.import_table( |
|
[ |
|
, |
|
], |
|
{ |
|
"schema": "demo", |
|
"table": "sbtest1", |
|
"dialect": "csv-unix", |
|
"skipRows": 0, |
|
"showProgress": True, |
|
"characterSet": "utf8mb4", |
|
"threads": "4", |
|
"bytesPerChunk": "1M", |
|
"maxRate": "2M" |
|
}) |
4. Load Data vs import_table性能对比
|
-- Load Data语句 |
|
load data infile '/data/mysql/3306/tmp/sbtest1.csv' |
|
into table demo.sbtest1 |
|
character set utf8mb4 |
|
fields terminated by ',' |
|
enclosed by '"' |
|
lines terminated by '\n' |
|
|
|
-- import_table语句 |
|
util.import_table( |
|
[ |
|
, |
|
], |
|
{ |
|
"schema": "demo", |
|
"table": "sbtest1", |
|
"dialect": "csv-unix", |
|
"skipRows": 0, |
|
"showProgress": True, |
|
"characterSet": "utf8mb4" |
|
}) |
5. 技术总结可以看到,Load Data耗时约5分钟,而import_table则只要不到一半的时间即可完成数据导入,效率高一倍以上(虚拟机环境磁盘IO能力有限情况下) 。
到此这篇关于MySQL import_table数据导入的实现的文章就介绍到这了,更多相关MySQL import_table数据导入内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我! 。
原文链接:https://www.cnblogs.com/zhenxing/p/15102252.html 。
最后此篇关于MySQL Shell import_table数据导入的实现的文章就讲到这里了,如果你想了解更多关于MySQL Shell import_table数据导入的实现的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
背景: 我最近一直在使用 JPA,我为相当大的关系数据库项目生成持久层的轻松程度给我留下了深刻的印象。 我们公司使用大量非 SQL 数据库,特别是面向列的数据库。我对可能对这些数据库使用 JPA 有一
我已经在我的 maven pom 中添加了这些构建配置,因为我希望将 Apache Solr 依赖项与 Jar 捆绑在一起。否则我得到了 SolarServerException: ClassNotF
interface ITurtle { void Fight(); void EatPizza(); } interface ILeonardo : ITurtle {
我希望可用于 Java 的对象/关系映射 (ORM) 工具之一能够满足这些要求: 使用 JPA 或 native SQL 查询获取大量行并将其作为实体对象返回。 允许在行(实体)中进行迭代,并在对当前
好像没有,因为我有实现From for 的代码, 我可以转换 A到 B与 .into() , 但同样的事情不适用于 Vec .into()一个Vec . 要么我搞砸了阻止实现派生的事情,要么这不应该发
在 C# 中,如果 A 实现 IX 并且 B 继承自 A ,是否必然遵循 B 实现 IX?如果是,是因为 LSP 吗?之间有什么区别吗: 1. Interface IX; Class A : IX;
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我正在阅读标准haskell库的(^)的实现代码: (^) :: (Num a, Integral b) => a -> b -> a x0 ^ y0 | y0 a -> b ->a expo x0
我将把国际象棋游戏表示为 C++ 结构。我认为,最好的选择是树结构(因为在每个深度我们都有几个可能的移动)。 这是一个好的方法吗? struct TreeElement{ SomeMoveType
我正在为用户名数据库实现字符串匹配算法。我的方法采用现有的用户名数据库和用户想要的新用户名,然后检查用户名是否已被占用。如果采用该方法,则该方法应该返回带有数据库中未采用的数字的用户名。 例子: “贾
我正在尝试实现 Breadth-first search algorithm , 为了找到两个顶点之间的最短距离。我开发了一个 Queue 对象来保存和检索对象,并且我有一个二维数组来保存两个给定顶点
我目前正在 ika 中开发我的 Python 游戏,它使用 python 2.5 我决定为 AI 使用 A* 寻路。然而,我发现它对我的需要来说太慢了(3-4 个敌人可能会落后于游戏,但我想供应 4-
我正在寻找 Kademlia 的开源实现C/C++ 中的分布式哈希表。它必须是轻量级和跨平台的(win/linux/mac)。 它必须能够将信息发布到 DHT 并检索它。 最佳答案 OpenDHT是
我在一本书中读到这一行:-“当我们要求 C++ 实现运行程序时,它会通过调用此函数来实现。” 而且我想知道“C++ 实现”是什么意思或具体是什么。帮忙!? 最佳答案 “C++ 实现”是指编译器加上链接
我正在尝试使用分支定界的 C++ 实现这个背包问题。此网站上有一个 Java 版本:Implementing branch and bound for knapsack 我试图让我的 C++ 版本打印
在很多情况下,我需要在 C# 中访问合适的哈希算法,从重写 GetHashCode 到对数据执行快速比较/查找。 我发现 FNV 哈希是一种非常简单/好/快速的哈希算法。但是,我从未见过 C# 实现的
目录 LRU缓存替换策略 核心思想 不适用场景 算法基本实现 算法优化
1. 绪论 在前面文章中提到 空间直角坐标系相互转换 ,测绘坐标转换时,一般涉及到的情况是:两个直角坐标系的小角度转换。这个就是我们经常在测绘数据处理中,WGS-84坐标系、54北京坐标系
在软件开发过程中,有时候我们需要定时地检查数据库中的数据,并在发现新增数据时触发一个动作。为了实现这个需求,我们在 .Net 7 下进行一次简单的演示. PeriodicTimer .
二分查找 二分查找算法,说白了就是在有序的数组里面给予一个存在数组里面的值key,然后将其先和数组中间的比较,如果key大于中间值,进行下一次mid后面的比较,直到找到相等的,就可以得到它的位置。
我是一名优秀的程序员,十分优秀!