gpt4 book ai didi

python - 按大小限制拆分大文件而不切割线

转载 作者:太空宇宙 更新时间:2023-11-04 03:28:19 25 4
gpt4 key购买 nike

<分区>

所以我有兴趣将相当大的文件分成 5Gig 间隔。我的目标是让所有分区都小于 5G,并且分区数量尽可能少。

虽然我通常会使用有大小限制的分割,但我需要确保线条保持完整(我不能按大小分割)。

我一直在考虑使用文件大小和行数来确定每个文件可以拆分的行数

例如

File size = 11Gig
File line count = 900
File limit = 5Gig
ceiling(11/5) = 3
900/3 = 300
#Split the file by line limiting 300 each.

虽然这可能通常有效,但由于行元素的性质,如果文件的一段中有一个非常大的行,文件大小仍可能超过 5gigs。

我正在考虑使用 python(它处理数字的能力要好得多,而且看起来不那么骇人听闻),但我会降低 bashes 文件操作速度。

我想知道是否有人知道 bash 中更好的替代方案?

提前致谢!

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com