r - AWS s3 r 工作室

Question

如何直接从 r studio 的 Amazon s3 读取 csv。我不能只使用 read_csv，如果我把，

read_csv(url("s3a://abc/rerer.txt"))

我得到

网址错误(“s3a://abc/rerer.txt”):
此方法不支持 URL 方案

我不想先在本地移动文件。我尝试在 AWS s3 库中使用像 get_bucket 这样的函数，但那不是人类可读的格式

Answer 1

我推荐包aws.s3来自 CloudyR 项目。

要安装此软件包:

# stable version
install.packages("aws.s3", repos = c("cloudyr" = "http://cloudyr.github.io/drat"))

# on windows you may need:
install.packages("aws.s3", repos = c("cloudyr" = "http://cloudyr.github.io/drat"), INSTALL_opts = "--no-multiarch")

安装后，您可以像这样读取文件:

library("aws.s3")
r = aws.s3::get_object(bucket = "bucket",object = "object.csv")

正如@Thomas 在评论中提到的，如果您知道文件类型，则可以使用 read_using()功能结合 fread或 read_csv或您通常使用的任何 R 函数。这在您检索数据后节省了解析步骤。

如果您的凭据已经是环境变量，则几乎不需要设置。否则，您可以像这样添加它们:

Sys.setenv("AWS_ACCESS_KEY_ID" = "mykey",
           "AWS_SECRET_ACCESS_KEY" = "mysecretkey",
           "AWS_DEFAULT_REGION" = "us-east-1",
           "AWS_SESSION_TOKEN" = "mytoken")

还支持多个 AWS 账户。您可以在此处找到 CloudyR 项目及其文档:

https://github.com/cloudyr

具体来说，CloudyR 的 AWS S3 API 客户端页面可以在这里找到:

https://github.com/cloudyr/aws.s3