Java:快速获取数据:存储在内存中与从文件中读取

Question

我正在编写一个数据表生成工具并遇到一些性能问题 - 我需要关心 RAM 使用情况和生成时间。这确实是我的程序中的一个关键。

1) 我需要将最终数据存储在单个文件中(一个文件=一个表，稍后在生成所有文件时加载它)，例如:

111|aaaa|bbba
112|aaab|bbbb
113|aaac|bbbc
114|aaad|bbbd...

我可以有很多列，甚至数百万行。所有值都是正确的。

2)现在，我需要使用先前生成的表之一中的值生成下一个表的单个值。我的程序还可以将单列保存到临时文件中(以便将来读取)，例如:

aaaa
aaab
aaac
aaad...

现在，主要问题是我需要随机“读取”新值甚至数百万次，与行计数器相同。

如何有效地做到这一点？使用哪些工具？我有两个选择:

• 将临时文件中的所有第二列“可用值”存储在某个数组/数组列表中，并用于例如。 .get(int index)方法及返回值
• 从该文件中读取特定行并返回值

感谢帮助

Answer 1

How to do it effectively ?

要随机读取文件，您需要知道每条记录的偏移量。我将其存储为一个二进制文件，每行的开头有 4 字节或 8 字节偏移量。

您可以使用像 Chronicle Map 这样的库它允许您通过 key 随机读取文件中的任何记录。