amazon-web-services - Amazon Redshift - 从 CSV 复制 - 行中的单双引号 - CSV 错误的无效报价格式

Question

我正在将 S3 中的 CSV 文件加载到 Redshift。此 CSV 文件是包含 PageUrl 的分析数据(例如，它可能包含查询字符串中的用户搜索信息)。

它在有单双引号字符的行上窒息，例如，如果有一个 14"玩具的页面，那么 PageUrl 将包含:

http://www.mywebsite.com/a-14 "-toy/1234.html

可以理解的是，Redshift 无法处理这个问题，因为它需要一个结束双引号字符。

我认为我的选择是:

预处理输入并删除这些字符

在 Redshift 中配置 COPY 命令以忽略这些字符但仍加载行

将 MAXERRORS 设置为高值并使用单独的进程清除错误

选项 2 是理想的，但我找不到它!

如果我只是看起来不够努力，还有其他建议吗？

谢谢

邓肯

Answer 1

不幸的是，没有办法解决这个问题。您将需要 预处理 将文件加载到 Amazon Redshift 之前。

您拥有的最接近的选项是 CSV [ QUOTE [AS] 'quote_character' ]用替代引号字符包装字段，和 ESCAPE如果引号字符前面有斜杠。唉，两者都要求文件在加载之前采用特定格式。

看:

Redshift COPY Data Conversion Parameters

Redshift COPY Data Format Parameters