python - 明确地说，如何让 s3fs 在 AWS 中打开 gz 文件？胶水/S3

Question

使用 AWSglue 以及 AWS s3 和 s3fs，我提出了以下方案(以及其他尝试)。我什至在 https://s3fs.readthedocs.io/en/latest/ 上看到了例子但他们并没有让我到达那里。

key = 'https://s3.console.aws.amazon.com/s3/buckets/datalake-sbox-landing-55555-us-weast/cloudwatch_logs/prod-coarsair/dt%267D2019-09-11/144221-3837-462d-a2e6-ba300/coarsair-coarsair-144221-3837-462d-a2e6-ba300/000000.gz'
s3 = s3fs.S3FileSystem()
with s3.open(key, 'r') as f:
    args_gz_file = f

那么现在应该就像输入“args_gz_file”一样简单，对吧？没有。我哪里出错了？!

Answer 1

示例显示:

with fs.open('my-bucket/my-file.txt', 'rb') as f:

这表明第一个参数是BUCKET-NAME/KEY。

但是，您的代码示例显示的是 URL (https://s3.console.aws.amazon.com/s3/buckets/)，而不是存储桶名称。

也许可以尝试:

key = 'datalake-sbox-landing-55555-us-weast/cloudwatch_logs/prod-coarsair/dt%267D2019-09-11/144221-3837-462d-a2e6-ba300/coarsair-coarsair-144221-3837-462d-a2e6-ba300/000000.gz'

旁注:建议使用官方 AWS SDK 或 AWS CLI 访问 Amazon S3，而不是使用 s3fs。 Amazon S3 是一种对象存储服务，而不是文件系统。