bash - 拆分大型 csv 文件并在每个部分保留标题

Question

如何拆分大型 csv 文件(~100GB)并保留每个部分的标题？

例如

h1 h2
a  aa
b  bb

进入

h1 h2
a  aa

和

h1 h2
b  bb

Answer 1

首先你需要分开标题和内容:

header=$(head -1 $file)
data=$(tail -n +2 $file)

然后你要拆分数据

echo $data | split [options...] -

在选项中，您必须指定 block 的大小和结果文件名称的模式。不得删除尾随 -，因为它指定 split 从标准输入读取数据。

然后你可以在每个文件的顶部插入文件头

sed -i "1i$header" $splitOutputFile

您显然应该在 for 循环中执行最后一部分，但其确切代码将取决于为 split 操作选择的前缀。