python - 如何让我的 Hadoop python 映射器工作？

Question

我想尝试为 Hadoop MapReduce 编写 python 映射器函数(作为一个完全的初学者)。我已经尝试了下面的代码，虽然它运行它返回“终止-步骤完成但有错误”。我使用了默认的聚合缩减函数。

import sys

keywords = ["bear", "bears"]
for line in sys.stin:
    words = line.split()
    for key in keywords:
        if key in words[1:]:
            ans = words[words.index(key)-1] 
            print("%s\t%d" % (ans, 1))

(提前致谢)

Answer 1

for line in sys.stin:

应该是

for line in sys.stdin:

一般来说，您应该在 hadoop map-reduce 上运行脚本之前测试它:

cat test_file.txt | python your_mapper.py | sort | python your_reducer.py

然后你就会看到 AttributeError。