python - 使用 Python API 提高 MaxMind IP 查找速度

Question

我正在构建一个脚本来处理 Web 服务器日志，并尝试将 MaxMinds 的 IP 数据集 ( http://dev.maxmind.com/geoip/legacy/geolite/ ) 合并到脚本中，以便获取点击来自的国家/地区。

目前，当我只提取我想要的信息时，我的脚本工作正常，但是当我尝试添加 IP 查找时，它的速度会减慢很多，大约 1800%。所以，我很好奇这是否与我的代码有关，或者是否有办法可以加快速度。

例如，当我运行以下提取日期和 IP 地址的代码时，本次实验大约花费了 6.5 秒。

extractedData = []

for log in logList:
    ip = log[-1]
    date = log[0]
    dateIP = [date, ip]
    extractedData.append(dateIP)

当我添加 pyGeoIP 并尝试合并国家/地区代码时，速度会变慢。以下代码运行需要 2 分钟 7 秒。

extractedData = []

gi = pygeoip.GeoIP('/path/to/GeoIP.dat') 

for log in logList:
    ip = log[-1]
    country = gi.country_name_by_addr(ip)
    date = log[0]
    dateCountry = [date, country]
    extractedData.append(dateCountry)

那么，有没有办法加快速度，因为这种查找会减慢处理速度。

谢谢!

Answer 1

由于您正在进行许多查询，因此应该将数据库加载到内存中。就目前情况而言，您不断地从磁盘读取数据，速度非常慢。

交换此行:

gi = pygeoip.GeoIP('/path/to/GeoIP.dat') 

对此:

gi = pygeoip.GeoIP('/path/to/GeoIP.dat', pygeoip.MEMORY_CACHE)