hadoop - 我可以在Spark中创建序列文件吗？

Question

This question already has answers here:

Write and read raw byte arrays in Spark - using Sequence File SequenceFile

(2个答案)


3年前关闭。




当前，我们在Pig中有一个实现，可以从记录中生成序列文件，其中记录的某些属性被视为序列文件的键，并且与该键对应的所有记录都存储在一个序列文件中。随着我们不断发展 Spark ，我想知道如何在 Spark 中做到这一点？

最佳答案

saveAsSequnceFile将数据另存为序列文件。

val a=sc.parallelize(List(1,2,3,4,5)).map(x=>(x,x*10)).saveAsSequenceFile("/saw1")

$ hadoop fs -cat /sqes/part-00000
SEQ org.apache.hadoop.io.IntWritable org.apache.hadoop.io.IntWritableZ      tTrh7��g�,��
2[cloudera@quickstart ~]$ 

读取序列文件使用sc.sequenceFile

 val sw=sc.sequenceFile("/saw1/part-00000", classOf[IntWritable],classOf[IntWritable]).collect

关于hadoop - 我可以在Spark中创建序列文件吗？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41935165/

上一篇：docker - 如何在Windows 10上修复 “Redis must be restarted after THP is disabled”警告？

下一篇：docker - 容器化应用程序-设计模式

Answer 1

saveAsSequnceFile将数据另存为序列文件。

val a=sc.parallelize(List(1,2,3,4,5)).map(x=>(x,x*10)).saveAsSequenceFile("/saw1")

$ hadoop fs -cat /sqes/part-00000
SEQ org.apache.hadoop.io.IntWritable org.apache.hadoop.io.IntWritableZ      tTrh7��g�,��
2[cloudera@quickstart ~]$ 

读取序列文件使用sc.sequenceFile

 val sw=sc.sequenceFile("/saw1/part-00000", classOf[IntWritable],classOf[IntWritable]).collect