gpt4 book ai didi

hadoop - 如何将作业所需的库部署到所有数据节点?

转载 作者:可可西里 更新时间:2023-11-01 15:07:17 25 4
gpt4 key购买 nike

我正在运行一个需要大约 300mb 第三方库的 mapreduce 作业。为了避免在运行作业时将库复制到数据节点的成本。我想知道是否有一种方法/工具可以在作业开始之前将这些库预部署到所有数据节点。

提前致谢。

最佳答案

您可以将其部署到 Hadoop 的分布式缓存中。 Pere Ferrera Bertran explains this well

关于hadoop - 如何将作业所需的库部署到所有数据节点?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11010389/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com