gpt4 book ai didi

amazon-web-services - Amazon Redshift - 从 CSV 复制 - 行中的单双引号 - CSV 错误的无效报价格式

转载 作者:行者123 更新时间:2023-12-03 18:33:38 25 4
gpt4 key购买 nike

我正在将 S3 中的 CSV 文件加载到 Redshift。此 CSV 文件是包含 PageUrl 的分析数据(例如,它可能包含查询字符串中的用户搜索信息)。

它在有单双引号字符的行上窒息,例如,如果有一个 14"玩具的页面,那么 PageUrl 将包含:

http://www.mywebsite.com/a-14 "-toy/1234.html

可以理解的是,Redshift 无法处理这个问题,因为它需要一个结束双引号字符。

我认为我的选择是:

  • 预处理输入并删除这些字符
  • 在 Redshift 中配置 COPY 命令以忽略这些字符但仍加载行
  • 将 MAXERRORS 设置为高值并使用单独的进程清除错误

  • 选项 2 是理想的,但我找不到它!

    如果我只是看起来不够努力,还有其他建议吗?

    谢谢

    邓肯

    最佳答案

    不幸的是,没有办法解决这个问题。您将需要 预处理 将文件加载到 Amazon Redshift 之前。

    您拥有的最接近的选项是 CSV [ QUOTE [AS] 'quote_character' ]用替代引号字符包装字段,和 ESCAPE如果引号字符前面有斜杠。唉,两者都要求文件在加载之前采用特定格式。

    看:

  • Redshift COPY Data Conversion Parameters
  • Redshift COPY Data Format Parameters
  • 关于amazon-web-services - Amazon Redshift - 从 CSV 复制 - 行中的单双引号 - CSV 错误的无效报价格式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31861517/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com