gpt4 book ai didi

apache-spark - 如何通过 Spark 将用户定义的元数据添加到 S3 对象

转载 作者:行者123 更新时间:2023-12-04 04:55:02 24 4
gpt4 key购买 nike

我正在使用 spark sql 数据框将 s3 作为 Parquet 写入
Dataset.write
.mode(SaveMode.Overwrite)
.parquet("s3://filepath")
在 spark 配置中,我为 SSE 和 ACL 指定了以下选项
spark.sparkContext.hadoopConfiguration.set("fs.s3a.server-side-encryption-algorithm", "AES256")spark.sparkContext.hadoopConfiguration.set("fs.s3a.acl.default","BucketOwnerFullControl")
如何将用户定义的元数据添加到 s3 对象。

谢谢
萨拉瓦南。

最佳答案

我不认为它今天可能。您无法从 EMR 添加/更新用户定义的 S3 对象元数据。这是我有限的知识。同样,AWS Support 是回答这个问题的最佳来源,但我不相信 API 被公开以允许用户从 EMR 添加/更新用户定义的元数据

关于apache-spark - 如何通过 Spark 将用户定义的元数据添加到 S3 对象,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51332467/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com