hadoop - 在 MapR 集群之间切换

Question

我在 mapr-clusters.conf 中指定了两个集群

cluster1 secure=true cldb1:7222 cldb2:7222 cldb3:7222
cluster2 secure=true cldb4:7222 cldb5:7222 cldb6:7222

在某些情况下，我想将数据加载到cluster1 中。在其他场合，我想在 cluster2 中加载数据。

默认情况下，MapR 客户端将第一个指定为默认客户端。如何告诉 MapR 客户端使用第二个指定的集群？

这样

hadoop fs -put <src> <dest> 

目标集群 2？

Answer 1

通常，MapR 支持 HDFS API 的/mapr/样式文件名。这非常方便，因为 NFS 和 POSIX 驱动程序的默认挂载点是/mapr。这使得 posix 访问文件的路径名与用于 HDFS 访问相同文件的路径名相同。表 API 和流 API 使用相同的约定，因此如果您在目录中看到文件，则可以使用该目录路径通过表 API 访问表。

如果您在边缘节点上(即该节点上没有运行 MapR 服务)，那么您只需更改配置文件中行的顺序即可更改将哪个集群作为默认集群。但是，我不建议这样做，因为我发现集群特定路径名更有用。