python - 我怎样才能加速这个数据帧？

Question

我有两个数据框 s和 sk与周围 1M元素，我需要生成一个新的数据框 df从它那里:

df.iloc[i] = s.iloc[f(i)] / sk.iloc[g(i)] 

哪里 f和 g是返回整数的函数。
目前我正在做:

data = []
for i in range(s.shape[0])):
    data.append(s.iloc[f(i)] / sk.iloc[g(i)])

df = pd.DataFrame(data, columns=s.columns)

但这似乎很慢。大约需要 5 分钟(数据帧有 9 float 列)。
只有 10M分区，所以 5 分钟似乎低于标准。所有的时间似乎都花在了迭代上 s和 sk ，所以我想知道是否有一种方法可以构建 s[f]和 sk[g]迅速地？

Answer 1

首先 - 限制单次迭代中处理的零件数量 - 所以尽可能多地矢量化:

f_i = [f(i) for i in range(len(s))]
g_i = [g(i) for i in range (len(s))]

df = s.iloc[f_i] / sk.iloc[g_i]

第二件事 - 尝试矢量化生成 f_i和 g_i尽你所能地。
您还没有分享这些函数的示例，但我们的想法基本上是让它在 numpy 上工作。 ，避免迭代处理。

import numpy as np

f_i = f(np.arange(len(s)))
g_i = g(np.arange(len(s)))