gpt4 book ai didi

java - 从Java API获取mapreduce作业结果,而无需在HDFS上永久存储

转载 作者:行者123 更新时间:2023-12-02 21:51:36 25 4
gpt4 key购买 nike

我需要的东西看起来很普通,但是我找不到“准备使用”的解决方案。

  • 我有一些Hadoop MapReduce作业,可以将结果生成为一组文件。
  • 如果它很重要,它有几个映射器,没有reducers,但是我想为所有阶段的一般情况提供解决方案。
  • 我想收集作业结果并在作业执行后立即使用它。
  • 但是我不喜欢像FileOutputFormat那样将作业结果永久存储在HDFS上,因此看起来临时作业存储是我的选择。

  • 对于这种情况有什么通用的方法?

    最佳答案

    某种工作的解决方案之一就是计数器。它远非普遍,但在某些简单情况下,它可以提供很多帮助:

  • An Example of Hadoop MapReduce Counter.
  • Hadoop definitive guide, counters.
  • 关于java - 从Java API获取mapreduce作业结果,而无需在HDFS上永久存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20261430/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com