snowflake-cloud-data-platform - 如何创建 csv 文件格式定义以将数据加载到雪花表中

Question

我的 csv 文件示例如下所示:
snowpipe 无法加载“文件 (5) 中的列数与对应表 (3) 的列数不匹配，请使用文件格式选项 error_on_column_count_mismatch=false 忽略此错误”
有人可以建议我 csv 文件格式定义以适应负载吗？
enter image description here

Answer 1

问题是您尝试加载的数据在数据本身中包含逗号 ( , )。 Snowflake 认为这些逗号代表新列，这就是为什么它认为您的文件中有 5 列但只有 3 列。
您需要告诉 Snowflake 双引号 ( " ) 内的任何内容都应按原样加载，而不是将引号内的逗号解释为列分隔符。
当您通过 Web 界面创建文件格式时，有一个选项可让您告诉 Snowflake 执行此操作。将“可选包含的字段”下拉列表设置为“双引号”，如下图所示:

或者，如果您使用 SQL 创建文件格式，则有一个名为 FIELD_OPTIONALLY_ENCLOSED_BY 的选项。您可以设置为 \042它做同样的事情:

CREATE FILE FORMAT "SIMON_DB"."PUBLIC".sample_file_format 
    TYPE = 'CSV' 
    COMPRESSION = 'AUTO' 
    FIELD_DELIMITER = ',' 
    RECORD_DELIMITER = '\n' 
    SKIP_HEADER = 0 
    FIELD_OPTIONALLY_ENCLOSED_BY = '\042' # <---------------- Set to double-quote
    TRIM_SPACE = FALSE 
    ERROR_ON_COLUMN_COUNT_MISMATCH = TRUE 
    ESCAPE = 'NONE' 
    ESCAPE_UNENCLOSED_FIELD = '\134' 
    DATE_FORMAT = 'AUTO' 
    TIMESTAMP_FORMAT = 'AUTO';