java - 将 HashMap 逐个保存到文件

Question

我在 Java 中运行一个大循环，其中，在每次传递中，数据都填充到 HashMap 中。循环很长，所以我无法将完整的 HashMap 保存在内存中。所以我需要找到一种方法，在每 1000 次左右的迭代后将 Hashmap 导出到一个文件。

我正在考虑在每 1000 步之后使用序列化将 HashMap 导出到一个文件，清除 HashMap 变量并通过将 next 附加到同一个文件来重复该过程。但是从文件中检索完整的 HashMap 时会出现问题，因为每次导出时都会将元数据附加到文件中。那么有没有其他方法可以做到这一点？

编辑:HashMap结构如下:

    HashMap<Key, double[]>

    Key {
        String name;
        BitSet set;
    }

Answer 1

是的。您有一个很棒的想法，即每 N 次迭代就清除一次文件，这看起来类似于:

public void exportHashTable() {
    HashMap<String, Object> map = new HashMap<>();
    map.put("hi", "world");

    for (int i = 0; i < map.size(); i++) {

        // Some logic ..

        if (i % 1000 == 0) {
            appendToFile(map);
            map.clear();
        }
    }
}

为了导入您不必读取整个文件，而是逐行读取，以防您导出它(不是序列化它)。假设您将其导出为 CSV 或什至 JSON。在这种情况下，您可以导入 HashMap 并处理 N 行，然后清除并继续进行。

public void importHashTable() {
    try (BufferedReader br = new BufferedReader(new FileReader(file))) {
        String line;
        while ((line = br.readLine()) != null) {
            // process the line, add to hashmap or do some other operation
        }
    }
}