mysql - 有条件地忽略行加载数据mysql

Question

我正在将大型数据集(60 gig)加载到数据库中。有些记录可以跳过，因为它们包含缺失的值。我如何告诉 MySQL 跳过包含某些(在本例中缺失)值的行？例如，我的文件看起来像这样

Value1, Value2
1,2
3,4
,5
9,10

第三行可以跳过不加载。我知道我可以加载所有内容然后删除它，但是处理 60 gig 文件需要很长时间，所以我想节省计算能力。

谢谢

Answer 1

如果“Value1”是一个唯一字段，那么您可以使用 IGNORE 选项。例如:

CREATE TABLE table1(
  Value1 INT(11) NOT NULL,
  Value2 INT(11) DEFAULT NULL,
  PRIMARY KEY (Value1)
);

LOAD DATA INFILE 'file.txt' 
  IGNORE -- forces to ingore existed records
  INTO TABLE table1
  FIELDS TERMINATED BY ','
  LINES TERMINATED BY '\r\n'
  IGNORE 1 lines
  (@var1, Value2)
  SET Value1 = IF(@var1 = 0, 1, @var1)

'IF(@var1 = 0, 1, @var1)' 帮助我们将缺失值 '0' 更改为 EXISTED KEY VALUE '1'，这些记录将被忽略。