python - com.amazonaws.AmazonClientException : Unable to execute HTTP request: No such host is known (spark-tunes. s3a.ap-south-1.amazonaws.com)

Question

我正在尝试通过 pycharm 在本地模式下从 spark 读取存储在 S3 存储桶中的 json 文件。但我收到以下错误消息:

"py4j.protocol.Py4JJavaError: An error occurred while calling o37.json. : com.amazonaws.AmazonClientException: Unable to execute HTTP request: No such host is known (spark-tunes.s3a.ap-south-1.amazonaws.com)"

(spark-tunes 是我的 S3 存储桶名称)。

下面是我执行的代码。请帮助我知道我是否遗漏了什么。

spark = SparkSession.builder.appName('DF Read').config('spark.master', 'local').getOrCreate()

spark._jsc.hadoopConfiguration().set("fs.s3a.access.key", "access_key")
spark._jsc.hadoopConfiguration().set("fs.s3a.secret.key", "secret_key")

spark._jsc.hadoopConfiguration().set("fs.s3a.endpoint", "s3a.ap-south-1.amazonaws.com")
spark._jsc.hadoopConfiguration().set("com.amazonaws.services.s3a.enableV4", "true")
spark._jsc.hadoopConfiguration().set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")

df = spark.read.json("s3a://bucket-name/folder_name/*.json")

df.show(5)

Answer 1

尝试将 fs.s3a.path.style.access 设置为 false，而不是将存储桶名称作为主机前缀，aws s3 客户端将使用端点下的路径

另外:删除 fs.s3a.impl 行。这是迷信在堆栈溢出示例中流传下来。不需要。真的。