mysql - 如何在 mysqlsh importTable util 中跳过/虚拟列？

Question

我想使用mysqlsh显式列出importTable中LOAD DATA的列:

https://dev.mysql.com/doc/mysql-shell/8.0/en/mysql-shell-utilities-parallel-table.html

导入.js:

util.importTable("sample.csv", {schema: "myschema", table: "mytable", 
    showProgress: true, columns: ["id","firstname",@dummy,@dummy,"lastname"]});

我的 csv 包含 5 列。但是，如果我的最终表仅包含 id、名字、姓氏，我必须找到一种方法来跳过源 csv 的两列，

导入方式:

mysqlsh --user=root --password='rootpw' --socket=/var/run/mysqld/mysqld.sock < import.js

问题:语法错误:STDIN:2:347 处的标记无效或意外。 @dummy 和 '@dummy' 和 "@dummy" 都不起作用。

问题:如何跳过虚拟列？当使用LOAD DATA时，它可以在列选项中使用@dummy。

Answer 1

tl;博士

从 MySQL Shell 8.0.22 开始，您可以通过用整数值替换 columns 选项中的列名称来跳过列。

util.importTable("/tmp/names.csv", {
    table:"names",
    columns: ["id", "firstname", 1, 2, "lastname"],
    dialect: "csv-unix"
});

这相当于:

LOAD DATA LOCAL INFILE '/tmp/names.csv' INTO TABLE `names`
FIELDS TERMINATED BY ',' ENCLOSED BY '"' ESCAPED BY '\\'
LINES TERMINATED BY '\n'
(id, firstname, @1, @2, lastname);

MySQL Shell >= 8.0.22

自版本 8.0.22 起，MySQL Shell 的并行表导入实用程序 util.importTable() 具有新选项 decodeColumns 以及对 columns 选项的增强功能，使您能够到以与使用 LOAD DATA 语句相同的方式从导入文件中捕获列以进行输入预处理(或丢弃它们)。 decodeColumns 选项以与 LOAD DATA 语句的 SET 子句相同的方式指定捕获数据的预处理转换，并将它们分配给目标表中的列。

util.importTable column 选项已扩展，现在接受整数作为数组值。作为第 k 个参数传递的整数值，捕获第 k 列在输入文件中作为名为 @i 的用户变量，其中 i 是传递的整数。

捕获的列值绑定(bind)到用户变量可以在decodeColumns中使用在将结果分配给之前预处理和转换数据的选项表中的列。

示例 1 - 预处理列 2:

util.importTable('file.txt', {
  table: 't1',
  columns: ['column1', 1],
  decodeColumns: {'column2': '@1 / 100'}
});

相当于:

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (column1, @var1)
SET `column2` = @var/100;

示例 2 - 跳过列:

util.importTable('file.txt', {
  table: 't1',
  columns: ['column1', 1, 'column2', 2, 'column3']
});

相当于:

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (column1, @1, column2, @2, column3);

示例 3 - 生成列值

util.importTable('file.txt', {
  table: 't1',
  columns: [1, 2],
  decodeColumns: {
    'a': '@1',
    'b': '@2',
    'sum': '@1 + @2',
    'mul': '@1 * @2',
    'pow': 'POW(@1, @2)'
  }
});

相当于:

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (@1, @2)
SET
  `a` = @1,
  `b` = @2,
  `sum` = @1 + @2,
  `mul` = @1 * @2,
  `pow` = POW(@1, @2);

8.0.17 <= MySQL Shell <8.0.22

不幸的是，目前 MySQL Shell 8.0.18 中的 util.importTable 不支持传递给列选项的用户变量。

您可以通过 ALTER TABLE 来解决此限制，并使用正确的列类型导入数据文件中存在的缺失列:

alter table names add column (dummy1 integer, dummy2 integer);

导入您的数据，例如/tmp/names.csv[1]

util.importTable("/tmp/names.csv", {table:"names", columns: ["id", "firstname", "dummy1", "dummy2", "lastname"], dialect: "csv-unix"})

并删除虚拟列:

alter table names drop column dummy1;
alter table names drop column dummy2;

或者简单地调用 LOAD DATA LOCAL INFILE SQL 命令:

LOAD DATA LOCAL INFILE '/tmp/sample.csv'
  INTO TABLE myschema.mytable
  (id, firstname, @dummy, @dummy, lastname);

[1]示例数据/tmp/names.csv

1,"Nicole",71,29,"Tusk"
2,"Bob",49,66,"Schiffer"
3,"Susan",61,17,"Tusk"
4,"Bob",24,59,"Trump"
5,"Nicole",25,46,"Goldberg"
6,"Bob",16,71,"Goldberg"
7,"Mark",43,43,"Schiffer"