python - 在python中使用Hadoop处理大型csv文件

Question

我有一个巨大的 CSV 文件，我想在 Amazon EMR (python) 上使用 Hadoop MapReduce 进行处理。

该文件有 7 个字段，但是，我只查看日期 和数量 字段。

 "date" "receiptId" "productId" "quantity"  "price" "posId" "cashierId"

首先是我的mapper.py

import sys

def main(argv):
    line = sys.stdin.readline()
    try:
        while line:
            list = line.split('\t')

            #If date meets criteria, add quantity to express key
                if int(list[0][11:13])>=17 and int(list[0][11:13])<=19:
                    print '%s\t%s' % ("Express", int(list[3]))
            #Else, add quantity to non-express key
                else:
                    print '%s\t%s' % ("Non-express", int(list[3]))

            line =  sys.stdin.readline()
except "end of file":
        return None
if __name__ == "__main__":
        main(sys.argv)

对于 reducer ，我将使用流式命令:聚合。

问题:

1. 我的代码正确吗？我在 Amazon EMR 中运行它，但输出为空。

2. 所以我的最终结果应该是: express ，XXX 和非 express ，YYY。我可以让它在返回结果之前做一个除法运算吗？只是 XXX/YYY 的结果。我应该把这段代码放在哪里？ reducer ??

3. 另外，这是一个巨大的CSV文件，所以映射会把它分成几个分区吗？或者我是否需要显式调用 FileSplit？如果是这样，我该怎么做？

Answer 1

在这里回答我自己的问题!

1. 代码有误。如果您使用聚合库来减少，您的输出不会遵循通常的键值对。它需要一个“前缀”。

   if int(list[0][11:13])>=17 and int(list[0][11:13])<=19:
       #This is the correct way of printing for aggregate library
       #Print all as a string.
       print  "LongValueSum:" + "Express" + "\t" + list[3]
   

   其他可用的“前缀”有:DoubleValueSum、LongValueMax、LongValueMin、StringValueMax、StringValueMin、UniqValueCount、ValueHistogram。有关更多信息，请查看此处 http://hadoop.apache.org/common/docs/r0.15.2/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html .

2. 是的，如果您想做的不仅仅是基本的 sum、min、max 或 count，您需要编写自己的 reducer。

3. 我还没有答案。