node.js - 如何对20亿个IP地址实现IP过滤？

Question

我们有不同的项目，其中之一是 white label DSP solution 。我们的客户请求启用 IP 过滤所有传入流量。他们向我们提供了包含20.5亿记录的地址列表，并且它应该是实时运行的。

这些地址可以压缩为 600 万个范围。我们只有10 毫秒来进行此检查。

此任务应使用 NodeJS 实现。

您对如何完成这项任务或者哪种机制适合这项任务有什么建议吗？

Answer 1

将已排序的 IP 加载到这种结构中一定很容易。只需遍历您的数十亿并填写:

{
    100: {
        150: {
            200: [250, 251],
            205: [250]
        }
    },
    105: {
        110: {
            115: [120]
        },
        115: {
            150: [200]
        }
    }
}

然后只需检查必须过滤的 IP 的每个八位字节的 key 是否存在。
JavaScript 优化整数字典并对其使用二分搜索。
我不知道NodeJS中是否有无符号字节，或者你需要几十G的RAM。