postgresql - 如果在 CSV 导入时重复，则忽略行

Question

我想知道这是否可行？如果某行由于某种原因无法导入前任。重复的主键、错误的输入类型等是否可以忽略并移至下一行？

我明白了

ERROR:  duplicate key value violates unique constraint "team_pkey"
DETAIL:  Key (team)=(DEN) already exists.
CONTEXT:  COPY team, line 23: "DEN,Denver,Rockets,A"

文件中有很多错误，而且错误很大，那么是否可以忽略无法插入的行？

Answer 1

To ignore duplicate keys during 'copy from' in postgresql 中描述了处理重复键问题的解决方案- 简而言之，使用不受约束的临时表并将 select distinct on uniquefield 放入目标表中。

另一种方法涉及使用 pgLoader .不幸的是，该文档似乎已经从网站上消失了，但在 the author's site 上有几篇教程文章。 .它具有丰富的功能来帮助您读取有问题的数据，并且可以执行诸如将被拒绝的行存储在单独的文件中、转换字段等操作。

有些东西可能不是很明显:pgLoader 第 2 版是用 Python 编写的，第 3 版是用 Lisp 编写的。两者都可以从 GitHub 页面获得。