python - MapReduce Amazon Python 获取输入文件的行号

Question

我有几个文本，我想知道行号和出现单词的文件。

我得到了文件但没有行号。

这是 map

#!/usr/bin/env python

import sys
import os

find = 'but' #word to find
linesCont = 0

file = os.environ["map_input_file"]

for line in sys.stdin:
    line = line.strip()
    words = line.split()
    linesCont = linesCont + 1;  
    for word in words:
        if (word in (find)):        
            print '%s\t%s' % (file, linesCont)

而且是reduce

#!/usr/bin/env python
import sys

result = {}

for line in sys.stdin:
    line = line.strip()

    file, lineNumber = line.split('\t', 1)

    try:
        result[file] = result[file] + ', ' + lineNumber
    except:
        result[file] = 'File "%s". LineNumber(s): %s' % (file, lineNumber)

for file in result.keys():
    print '%s\t' % (result[file])

提前致谢

Answer 1

Here是 Apache 论坛中关于相同内容的讨论。 Another在 SO 中查询。和 here是一个代码片段，用于获取正在处理的 block 的文件名。