python - numpy.where 在 pandas 数据帧中表现缓慢(2.5 小时)

Question

我正在尝试改进 pandas 中逐行日常水分平衡模型的性能。输入数据集在每日时间步长上跨越 33 年，因此大约有 12,000 行。我已将其读入数据框“d”，其中每一天都是一行，所有变量都是列。这个相对较小的数据集的总运行时间约为 2.5 小时。

第一天的计算为模型提供了起始/边界条件，并使用基本的 Python if/then 逻辑切片应用于第 1 行(第 1 天)。这些 day1 计算运行得非常快，没有问题:

d[:1].apply(newsoilwaterupperL, axis=1)

示例 day1 数据字段:

ID  DATE    PRECIP  ET_WL   pP  kP  areaP   maxP    soilP   roWS    infilP  newsoilwatersoilwP
1   1/1/1982    0   1.872036235 0.41    0.00198425  18.01   8   12  0   0.07937 12

剩余行(2 到 12,000)的“ future 几天”计算(总共 45 次)是使用 numpy where 表达式设置的 - 我需要这些表达式提供的逻辑能力，我认为使用 np.where 允许数据帧切片被“矢量化”，从而更快。一些但并非所有每日变量都取决于前一天的变量，因此我使用 .shift() 来捕获前一天的值。这是一个可以复制和运行的示例 - 这是根据今天早些时候发布的代码修订的:

import pandas as pd
import numpy as np
import time
start_time = time.time()
d = pd.DataFrame(np.random.randn(1000,12), columns=['kP',    'newsoilwatersoilwP' ,'ponddepthP' ,'soilP', \
        'roWS', 'newsoilwaterP' ,'maxP' ,'PRECIP','ET_WL' ,'infilP' ,'areaP','pP'])

def nextday(row): #real code has 45 np.where calculations like these two
    #Infiltration, Pond
    d[1:].infilP = (24*np.multiply(d['kP'],   (np.add(d['newsoilwatersoilwP'].shift(), \
        d['ponddepthP'].shift())/d['soilP'])))[1:]

    #Soil Water, Pond
    d[1:].soilwaterP = np.where(d['roWS']+d['newsoilwaterP'].shift()+ (d['maxP'].shift() \
        +d['PRECIP']-d['ET_WL']-d['infilP'])*d['areaP'] <= 0, \
        #val
        0.0, \
        #elif
        np.where(d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
        -d['ET_WL']-d['infilP'])*d['areaP']>= d['pP']*d['soilP']*d['areaP'], \
        #val
            d['pP']*d['soilP']*d['areaP'], \
        #else
        d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
        -d['ET_WL']-d['infilP'])*d['areaP']))[1:]

#ends the series of Next Day functions
d.apply(nextday, axis=0)

print "END"
print("%f seconds" % (time.time() - start_time))

我的速度问题和瓶颈似乎是在 'nextday' 函数内部使用多个 np.where 表达式的第二天计算(第 2 天到 12,000 x 45 计算)。

这是我为第二天的逐行迭代所尝试的:

1. Iterrows 而不是 nextday 函数，但这不会获得任何性能

   对于索引，d.iterrows() 中的行:

2. 对于 zip 中的行(d.values):

这就是我试图在次日循环中加快速度的方法:

1. np.where 表达式代替原来的 if/then 逻辑。这肯定更快，但对于整个数据集来说仍然很慢。
2. numpy 数学函数(np.multiply、np.add)代替了 python 算术——这实际上确实有一点帮助，但它不能全局应用于我的所有计算，而且我得到了一些错误。我认为这是由于在某些情况下常量、系列和数据框的形状不兼容。

我的问题和/或我在 SO 上阅读过但没有/不清楚如何申请的事情:

1. 将我的逻辑表达式转换为 numpy 而不是 pandas - 我想我已经用 np.where 完成了这个，但我不清楚我是否可以做更多的事情。如果您不需要 pandas 的便利，人们会说这是性能提升的重要来源。机器人确定我是否可以在 numpy 中执行类似 .shift() 的操作？
2. cython - 由于我计算的逐行性质，不确定这是否真的有帮助
3. 数
4. View 与副本 - 我知道这应该有所不同，但我不确定如何使用 np.where 表达式来判断我得到的是哪个

非常感谢任何反馈。

Answer 1

在没有预期输出的情况下解包有点困难，但是您的函数已经矢量化了。例如当你有 d['ET_WL']-d['infilP'] 减去 all d 中的行时，所以没有没有任何理由通过申请来调用它。本质上你正在做的是:

for _ in range(len(df.columns)):
    nextday(None)

因此，假设函数中的逻辑表达了您实际想要做的事情，您可以像这样重写，使其成为数据的函数:

def nextday(d): #real code has 45 np.where calculations like these two
    #Infiltration, Pond
    d[1:].infilP = (24*np.multiply(d['kP'],   (np.add(d['newsoilwatersoilwP'].shift(), \
        d['ponddepthP'].shift())/d['soilP'])))[1:]

    #Soil Water, Pond
    d[1:].soilwaterP = np.where(d['roWS']+d['newsoilwaterP'].shift()+ (d['maxP'].shift() \
        +d['PRECIP']-d['ET_WL']-d['infilP'])*d['areaP'] <= 0, \
        #val
        0.0, \
        #elif
        np.where(d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
        -d['ET_WL']-d['infilP'])*d['areaP']>= d['pP']*d['soilP']*d['areaP'], \
        #val
            d['pP']*d['soilP']*d['areaP'], \
        #else
        d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \
        -d['ET_WL']-d['infilP'])*d['areaP']))[1:]
    return d

然后你会这样调用它:

new_d = nextday(d)

如果您的函数实际上是递归的(看起来不像，只是取决于“newsoilwatersoilwP”、“maxP”等的先前值？)那么 numba 可能是一个简单的解决方案 -基本上写一个函数的形式:

@numba.jit
def myfunc(a,b):
    out = np.zeros_like(a)
    for i in range(len(a)):
        if i == 0:
            out[i] = #starting value logic...
        else:
            out[i] = out[i-1] # recursive logic...
    return out

myfunc(df['a'].values, df['b'].values)