vertica - 复制时记录在 HP Vertica 中被拒绝

Question

我正在尝试通过 COPY DIRECT 从管道分隔的文本文件加载 HP Vertica 中的分段表。

COPY CSI.MKT_RSRCH_AGG_ALL FROM '/opt/vertica/CSI/MKT_RSRCH_AGG_ALL.txt' DELIMITER '|' NULL '' DIRECT;

结果

 Rows Loaded 
-------------
      582006

dbadmin=> select get_num_rejected_rows();

 get_num_rejected_rows 
-----------------------
                  6046

我无法弄清楚是什么导致数据被拒绝。

我的所有维度均已定义NOT NULL。

我可以检查被拒绝记录的日志/信息吗？

Answer 1

我将从验证数据的完整性开始。然后，我会将所有被拒绝的行发送到文件中。您可以specify this在您的COPY命令中:

COPY CSI.MKT_RSRCH_AGG_ALL 
FROM '/opt/vertica/CSI/MKT_RSRCH_AGG_ALL.txt' 
DELIMITER '|' 
NULL ''
REJECTED DATA '/path/to/rejected/data'
DIRECT;

如果您还没有这样做，我建议您开始使用流名称来标识进程:

COPY ... DIRECT STREAM NAME 'My stream name';

您可以轻松监控流:

SELECT * FROM v_monitor.load_streams WHERE stream_name = 'My stream name';

文档

• Checking COPY Metrics
• Specifying a Rejected Data File (REJECTED DATA)
• COPY Exception and Rejected Data Files
• COPY