csv - hadoop mapreduce如何从CSV文件中获取数据输入？

Question

我想实现 hadoop mapreduce，我使用 csv 文件作为输入。所以，我想问一下，hadoop有没有提供什么方法​​可以用来获取csv文件的值，还是我们直接用Java Split String函数来实现？

谢谢大家......

Answer 1

默认情况下，Hadoop 使用文本输入阅读器从输入文件中逐行输入映射器。映射器中的关键是读取的行数。但是请注意 CSV 文件，因为单个列/字段可以包含换行符。您可能想要寻找像这样的 CSV 输入阅读器:

https://github.com/mvallebr/CSVInputFormat/blob/master/src/main/java/org/apache/hadoop/mapreduce/lib/input/CSVNLineInputFormat.java

但是，您必须在代码中拆分行。