python - 加速数据框 .loc()

Question

我有一个大约 400k IP 的列表(存储在 pandas DataFrame df_IP 中)使用 maxming geoIP 数据库进行地理定位。我使用城市版本，并检索城市、纬度、经度和县代码(法国省)，因为有些城市具有相同的名称但位于非常不同的地方。

这是我的工作代码:

import geoip2.database
import pandas as pd

reader = geoip2.database.Reader('path/to/GeoLite2-City.mmdb')
results = pd.DataFrame(columns=('IP',
                                'city',
                                'latitude',
                                'longitude',
                                'dept_code'))

for i, IP in enumerate(df_IP["IP"]):
    try :
        response = reader.city(IP)
        results.loc[i] = [IP,response.city.name,response.location.latitude,response.location.longitude,response.subdivisions.most_specific.iso_code]
    except Exception as e:
        print ("error with line {}, IP {}: {}").format(i,df_IP["IP"][i],e )

它运行良好，但在每个循环中变得越来越慢。如果我在第 1000 个 IP 上计时，我需要 4.7 秒，所以整个 400k 应该需要大约 30 分钟，但它运行了将近 4 个小时。

IMO 唯一会随着时间变慢的是数据帧 results 的填充:我有哪些不使用 .loc 并且可以更快的替代方案？最后我仍然需要相同的数据框。

我也有兴趣解释为什么 loc 在大型数据帧上如此缓慢。

Answer 1

我遇到过类似的情况，因为 loc 导致运行时崩溃。摆弄了很多之后，我找到了一个 super 快的简单解决方案。使用 set_value 而不是 loc。

这是示例代码的样子:您可以针对您的用例对其进行调整。假设你的数据框是这样的

Index  'A'  'B' 'Label'
23      0    1    Y
45      3    2    N

self.data.set_value(45,'Label,'NA')

这会将第二行的“标签”列的值设置为 NA。

有关 set_value 的更多信息，请访问以下链接:

http://pandas.pydata.org/pandas-docs/version/0.17/generated/pandas.DataFrame.set_value.html