java - 检查一个 8 亿条目的 hashmap 是否包含一个元素

Question

我有一个 HashMap ，其中包含约 8 亿个条目(字符串)。它实际上被序列化为一个文件，我已经将其放入 HashMap 中。

现在我有另一个巨大的字符串列表，大小约为 3500 万。我需要一个一个地读取这 3500 万个字符串，并以一种特定的方式对它们进行格式化，这本身就是一个单独的方法(这是一个非常轻量级的处理)。

然后我需要检查对列表中的一个字符串进行格式化的结果是否已经存在于 hashMap 中。

在 Java 中执行此操作的最有效方法是什么？

Answer 1

您可以尝试使用布隆过滤器

a space-efficient probabilistic data structure that is used to test whether an element is a member of a set. False positive retrieval results are possible, but false negatives are not; i.e. a query returns either "inside set (may be wrong)" or "definitely not in set".

(引自wikipedia)

Google Guava 提供 an implementation in java .