amazon-s3 - 从 S3 数据桶复制 Amazon Redshift 中的特定列

Question

我在 S3 中有一个文件，其中包含类似的列

CustomerID   CustomerName   ProductID    ProductName   Price   Date

现在 Redshift 中现有的 SQL 表结构就像

Date  CustomerID   ProductID    Price

有没有办法将选定的数据复制到现有的表结构中？ S3 数据库没有任何标题，只有按此顺序排列的数据。

Answer 1

这是针对文件的列数多于目标加载表的情况。

假设 CustomerName 和 ProductName 可以是 NULL 字段，您有两个选择。

将数据加载到临时表中。然后将暂存表与引用数据连接起来插入数据

COPY staging-tablename
FROM 's3://<<YOUR-BUCKET>>/<<YOUR-FILE>>'
credentials 'aws_access_key_id=<access-key-id>;aws_secret_access_key=<secret- access-key>'; 

INSERT INTO
 main_tablename
SELECT Date  
  ,CustomerID   
  ,ProductID    
  ,Price
FROM  staging-tablename st;

TRUNCATE TABLE staging-tablename;

ANALYZE main_tablename;