gpt4 book ai didi

hadoop - Hadoop 是否记录 reducer 映射的关键?

转载 作者:可可西里 更新时间:2023-11-01 16:43:59 25 4
gpt4 key购买 nike

我正在 Splunk 中查看 Hadoop 日志输出。我想查看为每个 reducer 分配了哪些键。这些信息是由 Hadoop 记录的吗?我应该在查询中使用哪些关键字来查找相关的日志行?

最佳答案

简短的回答是:不,reducer 不记录与处理的键或值相关的任何内容。

在 BigData 中记录该信息不是一个好主意,因为日志行的数量可能非常非常大。

如果你正在运行一些小数据量的测试,你可以在你的 reducer 中包含一些 System.out.println 行,但是当你开始处理大量数据时注意不要让它们.

关于hadoop - Hadoop 是否记录 reducer 映射的关键?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38087412/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com