gpt4 book ai didi

hadoop - 亚马逊 EC2 和 S3 : How to read and write data

转载 作者:可可西里 更新时间:2023-11-01 14:22:10 27 4
gpt4 key购买 nike

我刚刚遵循了本指南:http://rogueleaderr.tumblr.com/post/32768181371/set-up-and-run-a-fully-distributed-hadoop-hbase-cluster在运行 hadoop 和 hbase 的 Amazon EC2 上设置集群。

我现在想知道的是,我实际上如何在我的集群上运行的 hbase 中获取我的数据?我需要将它加载到 S3 中然后加载到我的 hbase 集群中吗?

是否有加载/提取数据的最佳实践?由于我是 EC2 的新手,因此我将不胜感激。

最佳答案

您需要通过 SSH 连接到您的一个节点,然后您可以使用类似以下内容将数据复制到 HDFS:

hadoop fs -copyFromLocal data/sample_rdf.nt input/sample_rdf.nt

这会将文件从您的本地计算机复制到 HDFS。当然,这假设您已经在您的机器上获得了该文件,因此您必须先将其上传到 EC2,或者让您的 EC2 节点从某个地方下载它。

将您的文件上传到 S3 并使用 s3cmd 将其从 S3 复制到您的机器是有意义的,这取决于您销毁节点的频率以及您是否希望保留文件供以后使用。

(在您遵循的教程的第 III 部分中有更多示例。)

关于hadoop - 亚马逊 EC2 和 S3 : How to read and write data,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14127940/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com