linux - 将大文件拆分成较小文件的更快方法？

Question

我有一个大约 6.5 GB 的小文件，我尝试使用 split -d -line--bytes=5MB 将它拆分为每个大小为 5MB 的文件。拆分这个文件花了我 6 多分钟。我有超过 1TB 的文件。有更快的方法吗？

Answer 1

比专门设计用于完成此类工作的工具更快？在一般情况下听起来不太可能。但是，您可以做一些事情:

• 将输出文件保存到不同的物理存储单元。这避免了同时读取和写入同一磁盘的数据，从而允许更多的不间断处理。
• 如果记录大小是静态的，您可以使用 --bytes 来避免处理整行的处理开销。