gpt4 book ai didi

hadoop - 当我执行 distcp 时,映射器是否会在源或目标中运行

转载 作者:可可西里 更新时间:2023-11-01 15:09:32 26 4
gpt4 key购买 nike

我在 hadoop 中运行 Distcp 以将数据从开发集群加载到生产集群。我的问题是资源将从何处获取。它是来自源还是目标?

最佳答案

Distcp 在它运行的集群上分离出 MapReduce 作业。您可以在该集群上使用 Yarn UI 来监控作业进度和利用率。

假设您正在从 Prod 集群复制到 Dev 集群,并且担心资源利用率,那么您实际上可以在 Dev 集群上运行 Distcp 作业并让它从 Prod 集群“拉取”数据。

关于hadoop - 当我执行 distcp 时,映射器是否会在源或目标中运行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49798410/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com