gpt4 book ai didi

hadoop - MIT StarCluster 和 S3

转载 作者:可可西里 更新时间:2023-11-01 16:55:54 24 4
gpt4 key购买 nike

我正在尝试在 spot 实例上运行 mapreduce 作业。我使用 StarClusters 及其 hadoop 插件启动我的实例。我上传数据没有问题,然后将其放入 HDFS,然后将结果从 HDFS 复制回来。我的问题是有没有办法直接从 s3 加载数据并将结果推回 s3? (我不想手动将数据从 s3 下载到 HDFS 并将结果从 HDFS 推送到 s3,有没有办法在后台执行此操作)?

我使用的是标准的 MIT starcluster ami

最佳答案

你不能这样做,但你可以写一个脚本来做到这一点。例如你可以使用:hadoop distcp s3n://ID:key@mybucket/file/user/root/file将文件直接从 s3 放到 hdfs

关于hadoop - MIT StarCluster 和 S3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29997056/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com