r - Amazon AWS 上并行运行专为 Slurm 管理器设计的 R 代码的最佳选择是什么？

Question

我目前有 R 代码，可以通过带有 shell 和批处理脚本的 Slurm 管理器运行。本质上，我的 shell 脚本创建了 1000 个作业数组，然后调用批处理脚本 1000 次。

我想知道如何进行此设置以及将其传输到 Amazon AWS 的最有效方法是什么。如果不是，那么在 Amazon AWS 中多次运行 R 脚本并利用尽可能多的内核的最有效方法是什么？ RStudio 服务器是一个不错的选择吗？

任何建议将不胜感激。谢谢!

Answer 1

StarCluster 可能是一个不错的选择:

StarCluster是亚马逊弹性计算云 (EC2) 的开源集群计算工具包

它是麻省理工学院 STAR 计划的一部分，旨在弥合科学研究与类之间的鸿沟

您可以轻松部署由您选择的实例组成的任意规模的集群。 NFS、MPI 和 OpenGrid 资源管理器将开箱即用。您还可以在集群上安装 SLURM。使用单个命令，您可以启动或关闭集群。

创建和管理集群的简单命令如 follows :

* Create and Manage Clusters *

StarCluster allows easily creating one or more clusters of virtual machines in the cloud:

$ starcluster start -s 10 mycluster

Use the listclusters command to keep track of your clusters:

$ starcluster listclusters

Login to the master node of your cluster:

$ starcluster sshmaster mycluster

Add additional nodes to your cluster for more compute power:

$ starcluster addnode mycluster

Remove idle nodes from your cluster to minimize costs:

$ starcluster removenode mycluster node003

When you’re done using the cluster and wish to stop paying for it:

$ starcluster terminate mycluster