gpt4 book ai didi

java - 选择处理非常大的文本文件(高达几 TB)的语言

转载 作者:行者123 更新时间:2023-12-01 22:37:28 24 4
gpt4 key购买 nike

我正在开发一个项目,该项目使用文本文件 (.txt) 作为输入,逐行读取它们,但该文件可能高达 1 TB。我知道一些用于解决类似问题的语言/技术,它们是 Java、Bash、Awk 和 Python。但我不知道哪一个可以处理这么大的文件,以及需要什么样的技巧和调整。

最佳答案

只要您逐行处理文件并收集一些统计数据,选择什么工具并不重要。

与脚本语言相比,Java 在速度方面具有一定优势,但最终的差异只是一个常数因子。最重要的是您用来处理文件的算法。

关于java - 选择处理非常大的文本文件(高达几 TB)的语言,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26684292/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com