python - 在 pandas 中使用 isin 的最快方法

Question

我有两个带有 ID 列的 csv，其中第一个 csv 中的 ID 是第二个 csv 中 ID 的子集。为了节省空间，在读取第一个 csv 后，我尝试仅读取第一个 csv 中出现的第二个 csv 中的行，如下所示:

chunker = pd.read_csv(t_path)

df = pd.DataFrame()
for chunk in chunker:
    # keep_ids is a series of ids from previous table
    temp = chunk[chunk['Id'].isin(keep_ids)]
    df = df.append(temp, ignore_index=True)
df.reset_index()

我正在处理的文件有 30 GB 大，所以速度可能有点慢。有没有更快的方法来找到正确的 id，可能使用索引？

编辑 1:将 block 的索引设置为等于 id 列，然后仅保留与 keep_ids 成功合并的行是否会很快？

Answer 1

也许是这样的:

chunker = pd.read_csv(t_path, iterator=True, chunksize=1000)
df = pd.concat(chunk[chunk['Id'].isin(keep_ids) for chunk in chunker ])