snowflake-cloud-data-platform - Snowflake 中的数据加载 : NULL result in a non-nullable column

Question

我收到错误消息:在将我的 Parquet 文件加载到 Snowflake 时，NULL 导致了一个不可为 null 的列。

我在 Snowflake 中没有空列，例如 NAME2、NAME3，但 parquet 文件中针对它们的值是空字符串。

所以我的问题是如何在不更改表定义或不删除非空约束的情况下解决此约束？

COPY INTO "DB_STAGE"."SCH_ABC_INIT"."T_TAB" FROM (
SELECT
$1:OPSYS::VARCHAR,
$1:MANDT::VARCHAR,
$1:LIFNR::VARCHAR,
$1:LAND1::VARCHAR,
$1:NAME1::VARCHAR,
$1:NAME2::VARCHAR,
$1:NAME3::VARCHAR,
$1:NAME4::VARCHAR,
..
..
$1:OPTYPE::VARCHAR
FROM @DB_STAGE.SCH_ABC_INIT.initial_load_stage_ABC)
file_format = (type = 'parquet', NULL_IF=('NULL','',' ','NULL','NULL','//N'))
pattern = '.*/ABC-TAB-prod/.*snappy.parquet';

Answer 1

我相信这条线

file_format = (type = 'parquet', NULL_IF=('NULL','',' ','NULL','NULL','//N'))

明确要求获取空字符串并将它们变成 NULL 值，这显然无法进入表中非 NULL 的字段。你或许应该尝试这样的事情:

file_format = (type = 'parquet', NULL_IF=('NULL','//N'))

您的另一个选择是删除表中的 NOT NULL 并允许转换为 NULL。