hadoop - 来自 CSV 文件的序列和向量

Question

我有一个 CSV 文件，其中包含以下列 name.age,salary,experience

当我将其转换为序列文件时，数据到底发生了什么？序列文件会是什么样子？

onc 序列文件被转换为向量，它看起来像什么我想了解当我们从输入数据创建序列和向量时会发生什么

问候，Chhaya Vishwakarma

Answer 1

CSV数据文件(文本):

vijay@master:~$ hadoop fs -cat /user/vijay/datatext/csvData.csv
vijay,24,22000,2
rami,20,30000,3
kumar,23,400000,11

CSVData 序列文件(原始格式):

vijay@master:~$ hadoop fs -cat /user/vijay/datasequence/p*
SEQ!org.apache.hadoop.io.LongWritableorg.apache.hadoop.io.Text▒▒s▒!▒(▒9ŻW▒+fvijay,24,22000,rami,20,30000,umar,23,400000,11vijay

(它看起来怎么样？)- 序列文件有一个 header ，其中包含有关键/值类名称、版本、文件格式、文件元数据和表示 header 结尾的同步标记的信息。标题后面是构成键/值对及其各自长度的记录。

(到底发生了什么？)- 请阅读下面的链接，它可以解决您的所有疑虑。

段落学分:https://thinkbiganalytics.com/hadoop-sequence-files-and-a-use-case/

CSVData SequenceFile(可读格式):

vijay@master:~$ hadoop fs -text /user/vijay/datasequence/p*
0       vijay,24,22000,2
17      rami,20,30000,3
33      kumar,23,400000,11