hadoop - 在 Hadoop 中将多个序列文件合并为一个序列文件

Question

如何在Hadoop中将多个序列文件合并为一个序列文件谢谢。

Answer 1

如果你想将多个文件合并成一个文件，那么这里有两个答案:

母语

---

getmerge

用法:hadoop fs -getmerge <src> <localdst>

将源目录和目标文件作为输入并将 src 中的文件连接到目标本地文件中。可选地 addnl 可以设置为在每个文件的末尾添加一个换行符。

---

---

Java API

---

org.apache.hadoop.fs.FileUtil.copyMerge(FileSystem srcFS, Path srcDir, FileSystem dstFS, Path dstFile, boolean deleteSource, Configuration conf, String addString);

将目录中的所有文件复制到一个输出文件(合并)

复制到hdfs

put

用法:hadoop dfs -put <localsrc> ... <dst>

将单个 src 或多个 src 从本地文件系统复制到目标文件系统。还从标准输入读取输入并写入目标文件系统。

copyFromLocal

用法:hadoop dfs -copyFromLocal <localsrc> URI

类似于 put 命令，不同之处在于源仅限于本地文件引用。