csv - hadoop如何读取输入文件？

Question

我有一个要使用 hadoop mapreduce 分析的 csv 文件。我想知道hadoop是否会逐行解析它？如果是，我想使用逗号分隔的字符串来获取要分析的字段。还是有其他更好的方法来解析 csv 并将其输入 hadoop？该文件为 10 GB，以逗号分隔。我想将 java 与 hadoop 一起使用。下面map()方法中Tex类型的参数“value”包含了Map/Reduce解析的每一行？ - 这是我最困惑的地方。

这是我的代码:

public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    try {
       String[] tokens = value.toString().split(",");

       String crimeType = tokens[5].trim();      
       int year = Integer.parseInt(tokens[17].trim()); 

       context.write(crimeType, year);

     } catch (Exception e) {...}
 }

Answer 1

是的，默认情况下，Hadoop 使用文本输入阅读器从输入文件中逐行输入映射器。映射器中的键是读取的行的偏移​​量。但是请注意 CSV 文件，因为单个列/字段可以包含换行符。您可能想要寻找像这样的 CSV 输入阅读器:https://github.com/mvallebr/CSVInputFormat/blob/master/src/main/java/org/apache/hadoop/mapreduce/lib/input/CSVNLineInputFormat.java