gpt4 book ai didi

hadoop - 如何将 Pig 存储位置设置为另一个 hadoop 集群

转载 作者:可可西里 更新时间:2023-11-01 16:31:10 24 4
gpt4 key购买 nike

我正在通过 REST API 运行 PigScript,我想将我的 Pig 输出存储到另一个 hadoop 集群。有什么方法可以将 PigStorage 设置为其他一些 hdfs。

最佳答案

您可以使用 distcp 从一个 hdfs 复制到另一个。

distcp 用于将大量数据并行复制到 hadoop 文件系统或从中复制。

$ hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar

关于hadoop - 如何将 Pig 存储位置设置为另一个 hadoop 集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31175627/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com