postgresql - 如何将数据导入postgres

Question

我有以下格式的数据:

<a>        <b>       <c>>       NULL                    NULL                      
<d>        <e>       <f<>      '1999-10-10',           '2000-10-10'
<g<>       <h>       <i>>      '300-12-12 BC',         '300-01-01 BC'
<m>        <l>       <k<,>j>    NULL                    NULL
<g>        <k>       "o,l"      NULL                    NULL

这里 a,b,c,d,e,f,g,h,i,j,k,l,m 可以包含任何字符，例如它们可能包含 ',/,$,#,*,&,^,%,;,:,},{,],[, space,>,< 等字符

我尝试将此数据导入 postgres，使用逗号分隔四列(通过创建 .csv 文件)。但是，这种方法是不正确的，因为

      third column contains the value (<k<,>j>) and "o,'" with a comma.

我的数据中存在的模式是第一列和第二列包含尖括号 (<>) 内的数据。第三列包含引号内或尖括号内的数据。第四和第五列包含 NULL 或日期。

我有大约 3 Tera 字节的数据，有什么方法可以有效地将这些数据导入到 postgres 中。我是 postgres 的新手，所以请帮忙

Answer 1

你的数据真是一团糟。它超出了导入实用程序 COPY 命令的处理能力。

如果您选择使用 SQL 解析输入和插入，则必须使用应用程序/脚本语言编写一些代码。

---

如果你的数据很大，使用应用程序语言可以让你以“ block ”的形式提交数据，例如每 10000 行，这避免了提交日志的最大大小，并且意味着你可以在上次工作时恢复进程如果您的程序在中途死亡(并且它会保存在输入文件中到达的记录位置)。

至于推荐一种语言，我会看看你周围的人，看看他们有使用过哪种语言。我不想推荐一个，因为这是个人选择，但我会说选择对您来说实用的任何东西。