个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
24
4
我正在尝试在 spot 实例上运行 mapreduce 作业。我使用 StarClusters 及其 hadoop 插件启动我的实例。我上传数据没有问题，然后将其放入 HDFS，然后将结果从 HDFS 复制回来。我的问题是有没有办法直接从 s3 加载数据并将结果推回 s3？ (我不想手动将数据从 s3 下载到 HDFS 并将结果从 HDFS 推送到 s3，有没有办法在后台执行此操作)？
我使用的是标准的 MIT starcluster ami
最佳答案
你不能这样做，但你可以写一个脚本来做到这一点。例如你可以使用:hadoop distcp s3n://ID:key@mybucket/file/user/root/file将文件直接从 s3 放到 hdfs
关于hadoop - MIT StarCluster 和 S3，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29997056/
24
4
0
我正在尝试使用 StarCluster 和 lateron BioCoductor AMI 在 AWS 上设置 R 集群。目标是使用雪在多个节点上运行一些并行计算。 但是我一开始就卡在了在 WINDO
StarCluster 是一个众所周知的 Amazon EC2 工具包。然而，它是基于 Python 2 开发的，如果过时了，它就会过时。并且它与 Python 3.x 不兼容。 所以我想知道 Sta
我正在尝试在 spot 实例上运行 mapreduce 作业。我使用 StarClusters 及其 hadoop 插件启动我的实例。我上传数据没有问题，然后将其放入 HDFS，然后将结果从 HDFS
我正在关注 StarCluster configuration instructions我想创建一个新用户供 StarCluster 使用。我的问题是 StarCluster 运行所需的最小 IAM
我不熟悉使用 Startcluster/qsub/grid engine 来运行并行作业，我尝试阅读其他几篇与此相关的文章。我仍然不确定如何为我的特定要求构建可扩展的解决方案。在继续进行相同的操作之前
在标准单实例下，我会挂载 S3-Bucket使用以下命令使用 Goofy (或者 s3fs) my-ec2$ ./go/bin/goofys mybucket my_mountdir 我如何在 Sta
如何修改StarCluster要包含的配置或代码 IAM Role ? 所以当我这样做时: starcluster start mycluster IAM 角色可以在 EC2 实例(主节点和节点)中自
我正在尝试在 AWS EC2 集群上使用 R 并行运行分析。我在用starcluster 设置和管理 EC2 集群，并尝试使用 snow 和R 中的 foreach。首先，我的集群中有 2 个节点，1
我正在尝试使用 AWS 上的集群计算进行一些试验。我对此完全陌生并且遇到了一些问题。我正在尝试按照此处找到的教程进行操作:http://star.mit.edu/cluster/docs/latest
我尝试在两个不同的 StarCluster AMI(默认 64 位 Ubuntu 11.10 和 QIIME 1.5 镜像)上升级 IPython。无论哪种情况，当我启动集群时，初始化脚本都会卡在“等
我是一名优秀的程序员,十分优秀！