java - 需要效率方面的建议 : Scanning 2 very large files worth of information

Question

我有一个比较奇怪的问题。

我有一个 6 GB 长的文件。我需要做的是逐行扫描整个文件，并确定与文件中任何其他行的 id 号匹配的所有行。本质上，这就像分析一个网络日志文件，其中有许多 session ID，这些 session ID 是按每次点击的时间而不是按用户 ID 组织的。

我尝试做一件简单(愚蠢)的事情，即创建 2 个文件读取器。一个是逐行扫描文件获取用户 ID，下一个是 1. 验证用户 ID 是否尚未被处理，2. 如果尚未处理，则读取以包含在中的用户 ID 开头的每一行文件和存储(某个值X，与行相关)

关于如何使此流程更有效地工作有什么建议或技巧吗？

Answer 1

• 将文件导入 SQL 数据库
• 使用 SQL
• 性能!

说真的，就是这样。数据库正是针对此类事情进行了优化。或者，如果你的机器有足够的 RAM，只需将所有数据放入 HashMap 中以便于查找。