gpt4 book ai didi

python - 合并 pandas MultiIndex 非常慢

转载 作者:行者123 更新时间:2023-11-28 19:04:42 25 4
gpt4 key购买 nike

我注意到 pandas 在基于 MultiIndex 合并数据帧时非常慢。赋值有时也很慢

import pandas as pd
import numpy as np
from pandas_datareader import data
import datetime
import string
import random

start = datetime.datetime(2002, 1, 1)
end = datetime.datetime(2018, 1, 1)


def id_generator(size=6, chars=string.ascii_uppercase + string.digits):
return ''.join(random.choice(chars) for _ in range(size))

columns = [id_generator() for i in range(1000)]
dateindex = pd.date_range(start, end)
df = pd.DataFrame(np.random.randint(1, 100, (len(dateindex), len(columns))), columns=columns, index=dateindex)
df.columns = df.columns.rename('Name')
df.index = df.index.rename('Date')

df1 = df.pct_change(1).stack().rename('change1').to_frame()
df2 = df.pct_change(2).stack().rename('change2').to_frame()

df3 = df1.reset_index()
df4 = df2.reset_index()



%timeit pd.merge(df1, df2, left_index=True, right_index=True)
In [11]: 46.7 s ± 656 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit pd.merge(df3, df4, on=['Date', 'Name'])
In [12]: 3.17 s ± 168 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

速度慢了10多倍。有人知道发生了什么事吗?在列而不是 MultiIndex 上保留索引和连接总是更好吗?

最佳答案

让我们使用加入:

%timeit df1.join(df2)

1 loop, best of 3: 647 ms per loop

关于python - 合并 pandas MultiIndex 非常慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48371569/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com