r - 帮我在 Amazon 的 EC2 上复制数据并运行脚本

Question

就使用云计算而言，我是新手，但我明白了这个概念并且非常擅长遵循说明。我想对我的数据进行一些模拟，每一步都需要几分钟。鉴于我的数据中的层次结构，每组需要几个小时。我想通过在 Amazon 的 EC2 云上运行它来加快速度。

阅读后this ，我知道如何启动 AMI，通过 shell 连接到它，并在命令提示符下启动 R。

我想要帮助的是能够复制数据(.rdata 文件)和脚本，然后在 R 命令提示符下获取它。然后，一旦所有结果都写入新的 .rdata 文件，我想将它们复制回我的本地机器。

我该怎么做呢？

Answer 1

我对 R 了解不多，但我用其他语言做类似的事情。我的建议可能会给你一些想法。

在本地计算机上设置 FTP 服务器。

创建一个与实例一起启动的“启动脚本”。

让启动脚本从您的本地机器下载 R 文件，初始化 R 并进行计算，然后将新文件上传到您的机器。

启动脚本:

#!/bin/bash
set -e -x
apt-get update && apt-get install curl + "any packages you need"
wget ftp://yourlocalmachine:21/r_files > /mnt/data_old.R
R CMD BATCH data_old.R -> /mnt/data_new.R
/usr/bin/curl -T /mnt/data_new.r -u user:pass ftp://yourlocalmachine:21/new_r_files

使用启动脚本启动实例

ec2-run-instances --key KEYPAIR --user-data-file my_start_up_script ami-xxxxxx