python - 将数据从 S3 加载到 dask 数据帧

Question

只有在公开文件后将“anon”参数更改为 True，我才能加载数据。

df = dd.read_csv('s3://mybucket/some-big.csv',  storage_options = {'anon':False})

由于显而易见的原因，不推荐这样做。如何安全地从 S3 加载数据？

Answer 1

从 s3 加载数据的后端是 s3fs，它有一个关于凭证的部分 here ，它主要指向 boto3 的文档。

简短的回答是，有许多方法可以提供 S3 凭证，其中一些是自动的(位于正确位置的文件，或环境变量 - 所有工作人员都必须可以访问，或集群元数据服务)。

或者，您可以直接在调用中提供您的 key / secret ，但这当然必须意味着您信任您的执行平台和工作人员之间的通信

df = dd.read_csv('s3://mybucket/some-big.csv',  storage_options = {'key': mykey, 'secret': mysecret})

可以在 API docs 中找到使用 s3fs 时可以在 storage_options 中传递的参数集.

一般引用 http://docs.dask.org/en/latest/remote-data-services.html