java - 选择处理非常大的文本文件(高达几 TB)的语言

Question

关闭。这个问题是 opinion-based 。目前不接受答案。

---

想要改进这个问题吗？更新问题，以便 editing this post 可以用事实和引文来回答它。 .

已关闭 8 年前。

Improve this question

我正在开发一个项目，该项目使用文本文件 (.txt) 作为输入，逐行读取它们，但该文件可能高达 1 TB。我知道一些用于解决类似问题的语言/技术，它们是 Java、Bash、Awk 和 Python。但我不知道哪一个可以处理这么大的文件，以及需要什么样的技巧和调整。

Answer 1

只要您逐行处理文件并收集一些统计数据，选择什么工具并不重要。

与脚本语言相比，Java 在速度方面具有一定优势，但最终的差异只是一个常数因子。最重要的是您用来处理文件的算法。