gpt4 book ai didi

python - AWS Glue - 从 sql server 表读取并作为自定义 CSV 文件写入 S3

转载 作者:行者123 更新时间:2023-12-05 07:30:25 26 4
gpt4 key购买 nike

我从 1 月开始从事 Glue 工作,并使用 AWS Glue/Databricks/EMR 等工作过多个 POC、生产数据湖。我使用 AWS Glue 从 S3 读取数据并在加载到 Redshift、Aurora 之前执行 ETL,等等

我现在需要从 SQL SERVER 上的源表中读取数据,然后获取数据,将数据写入自定义(用户定义的)CSV 文件中的 S3 存储桶,比如 employee.csv。

我正在寻找一些指示,请这样做。

谢谢

最佳答案

您可以使用指定 connectionType=sqlserver 的 JDBC 进行连接,以获取连接到 SQL SERVER 的动态框架。在这里查看 GlueContext docs

dynF = glueContext.getSource(connection_type="sqlserver", url = ..., dbtable=..., user=..., password=)

关于python - AWS Glue - 从 sql server 表读取并作为自定义 CSV 文件写入 S3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52336996/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com