python - 如何通过 Python Boto3 将数据加载到 Amazon Redshift？

Question

在 Amazon Redshift 的 Getting Started Guide 中，数据从 Amazon S3 中提取并使用 SQLWorkbench/J 加载到 Amazon Redshift 集群中。我想模拟使用 Boto3 连接到集群并将样本数据加载到集群的相同过程。 .

然而在Boto3's documentation对于 Redshift，我找不到一种方法可以将数据上传到 Amazon Redshift 集群。

我已经能够使用 Boto3 通过以下代码连接到 Redshift:

client = boto3.client('redshift')

但我不确定哪种方法可以让我创建表或将数据上传到 Amazon Redshift，就像在 tutorial with SQLWorkbenchJ 中所做的那样。 .

Answer 1

对了，你需要 psycopg2 Python 模块来执行 COPY 命令。

我的代码是这样的:

import psycopg2
#Amazon Redshift connect string 
conn_string = "dbname='***' port='5439' user='***' password='***' host='mycluster.***.redshift.amazonaws.com'"  
#connect to Redshift (database should be open to the world)
con = psycopg2.connect(conn_string);
sql="""COPY %s FROM '%s' credentials 
      'aws_access_key_id=%s; aws_secret_access_key=%s'
       delimiter '%s' FORMAT CSV %s %s; commit;""" % 
      (to_table, fn, AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY,delim,quote,gzip)

#Here
#  fn - s3://path_to__input_file.gz
#  gzip = 'gzip'

cur = con.cursor()
cur.execute(sql)
con.close() 

我用boto3/psycopg2写了CSV_Loader_For_Redshift