gpt4 book ai didi

hadoop - 如何在终端调试 MapReduce 任务?

转载 作者:可可西里 更新时间:2023-11-01 15:05:38 25 4
gpt4 key购买 nike

有没有一种使用终端模拟 MapReduce 作业的简单方法?我想知道是否有一种简单的方法可以在编写代码时调试它。

最佳答案

我习惯于使用 Python 进行 Hadoop 流式处理,但我相信该解决方案也可以复制到其他语言。所以,这就是我的解决方案:

cat input_folder/* | python map .py |排序 | python reduce.py

同样值得一提的是,您可以通过简单地运行来查看 reducer 接收到的值作为输入:

cat input_folder/* | python map .py |排序

关于hadoop - 如何在终端调试 MapReduce 任务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29291206/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com