csv - 如何将我的 hadoop 结果重命名为扩展名为 ".csv"的文件

Question

实际上我的意图是将 hadoop 作业的输出重命名为 .csv 文件，因为我需要在 rapidminer 中可视化此 csv 数据。

在How can i output hadoop result in csv format据说，为此我需要遵循以下三个步骤:

    1. Submit the MapReduce Job 
    2. Which will extract the output from HDFS using shell commands 
    3. Merge them together, rename as ".csv" and place in a directory where the visualization tool can access the final file

如果是这样，我该如何实现？

更新myjob.sh:

bin/hadoop jar /var/root/ALA/ala_jar/clsperformance.jar ala.clsperf.ClsPerf /user/root/ala_xmlrpt/Amrita\ Vidyalayam\,\ Karwar_Class\ 1\ B_ENG.xml  /user/root/ala_xmlrpt-outputshell4

bin/hadoop fs -get /user/root/ala_xmlrpt-outputshell4/part-r-00000 /Users/jobsubmit

cat /Users/jobsubmit/part-r-00000 /Users/jobsubmit/output.csv

显示:

The CSV file was empty and couldn’t be imported. 

当我尝试打开 output.csv 时。

解决方案

cat /Users/jobsubmit/part-r-00000> /Users/jobsubmit/output.csv

Answer 1

首先您需要从 HDFS 检索 MapReduce 结果

hadoop dfs -copyToLocal path_to_result/part-r-* local_path

然后将它们放在一个文件中

cat local_path/part-r-* > result.csv

然后就看你的MapReduce结果格式了，如果已经是csv格式就完了。如果没有，您可能必须使用其他工具(如 sed 或 awk)将其转换为 csv 格式。