gpt4 book ai didi

amazon-s3 - AWS Glue 作业未写入 S3

转载 作者:行者123 更新时间:2023-12-02 01:08:38 31 4
gpt4 key购买 nike

我刚刚在玩 Glue,但还没有让它在现有的 S3 存储桶中成功创建一个新表。该作业将无错误地执行,但 S3 中永远不会有任何输出。

这是自动生成的代码:

glueContext.write_dynamic_frame.from_options(frame = applymapping1, 
connection_type = "s3", connection_options = {"path":
"s3://glueoutput/output/"}, format = "json", transformation_ctx =
"datasink2")

已经尝试了所有变体 - 文件名(尚不存在),在存储桶的根文件夹中,尾部斜杠和没有。正在使用的角色对 S3 具有完全访问权限。尝试在不同地区创建存储桶。虽然没有创建任何文件。控制台再次说它成功了。

最佳答案

您的代码是正确的,只需验证applymapping1 DF中是否有任何数据?你用这个命令检查:applymapping1.toDF().show()

关于amazon-s3 - AWS Glue 作业未写入 S3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46336465/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com