python - 如何对大型数据集进行多线程大量 pandas 数据帧选择调用

Question

df 是一个包含超过 1200 万行未排序的数据帧。每行都有一个组 ID。

最终目标是为每个唯一的 GROUP ID 随机选择 1 行，从而填充名为 SELECTED 的新列，其中 1 表示选定，0 表示相反

可能有 5000 多个唯一的组 ID。寻求比以下更好更快的解决方案，潜在的多线程解决方案？

for sec in df['GROUP'].unique():
    sz = df.loc[df.GROUP == sec, ['SELECTED']].size
    sel = [0]*sz
    sel[random.randint(0,sz-1)] = 1
    df.loc[df.GROUP == sec, ['SELECTED']] = sel

Answer 1

您可以尝试矢量化版本，如果您有很多类，这可能会加快速度。

import pandas as pd

# get fake data
df = pd.DataFrame(pd.np.random.rand(10))
df['GROUP'] = df[0].astype(str).str[2]

# mark one element of each group as selected
df['selected'] = df.index.isin(    # Is current index in a selected list?
        df.groupby('GROUP')        # Get a GroupBy object.
        .apply(pd.Series.sample)   # Select one row from each group.
        .index.levels[1]           # Access index - in this case (group, old_id) pair; select the old_id out of the two.
        ).astype(pd.np.int) # Convert to ints.

请注意，如果存在重复索引，这可能会失败。