amazon-web-services - 在 RStudio EC2 实例中从 S3 读取大型 JSON 文件(Louis Aslett 的 AMI)

Question

我正在经历与这个问题类似的问题 here :

我在 AWS S3 上有一个很大的 JSON 文件，我正在尝试通过 RStudio(来自 Louis Aslett 的 AMI 的 EC2 实例)访问它。我什至尝试过使用 30GB 内存从 t2 迁移到 r4.xlarge，但无济于事:我收到错误:

Error in writeBin(httr::content(r, as = "raw"), con = file) : long vectors not supported yet: connections.c:4147

如果我使用免费套餐实例，则会出现错误:

Error in curl::curl_fetch_memory(url, handle = handle) : Failed writing body (0 != 16360)

我在引用资料中提到的问题似乎已经找到了解决方法，尽管我无法完全遵循它。当有人说目录需要是“home”以外的东西时，有人可以解释一下吗？你如何实现它？因为在 Louis AMI 中没有这样做的许可。这个问题可能非常基本，但我在这里不知所措。

干杯!一个

Answer 1

“当有人说目录需要是“home”以外的东西时，有人能解释一下吗？你如何实现它？因为在 Louis AMI 中没有这样做的权限。这个问题可能非常基本但我在这里失去了智慧。”

我在这里对你表示同情，因为恕我直言，这对于来自 Windows 的新 Linux 用户来说是违反直觉的，具有讽刺意味的是，我已经看到两个问题回答了这个问题，因为它们被认为对于这个高级论坛来说太基础了。但您并不孤单，从使用相同 AMI 读取数据时出现相同错误消息的个人经历来看，这听起来像是同样的问题。

如果您上传到实例上的不同驱动器，那么这很可能会得到解决。由于 Louis Aslett Rstudio AMI 位于这个 8-10GB 空间中，因此您必须将您的工作目录设置在此之外，即主目录。从 Rstudio 服务器界面上看并不直观。

我建议查看其他目录(例如，在 Rstudio 的 RHS 或 linux 命令行上的 df 命令的 Rstudio 目录选择框中，在 home 之上上升几级)。然后在另一个目录(例如 xda 或任何有足够空间的目录)中设置 wd() 并尝试再次读入。