python - 使用 Pandas 数据帧时如何避免慢速 for() : loops,？

Question

for i in range( 1, len( df ) ):
    if df.loc[i]["identification"] == df.loc[i-1]["identification"] and df.loc[i]["date"] == df.loc[i-1]["date"]:
       df.loc[i,"duplicate"] = 1
    else:
       df.loc[i,"duplicate"] = 0

在处理大数据帧时，这个简单的 for 循环运行起来非常慢。

有什么建议吗？

Answer 1

尝试使用向量化方法而不是循环:

df['duplicate'] = np.where((df.identification == df.identification.shift())
                           &
                           (df.date == df.date.shift()),
                           1,0)