python - 如果为空， append 到 DataFrame 的问题

Question

我有一个在本地方法范围外初始化的数据框。我想做如下:

def outer_method():
    ... do outer scope stuff here
    df = pd.DataFrame(columns=['A','B','C','D'])
    def recursive_method(arg):
        ... do local stuff here
        # func returns a data frame to be appended to empty data frame
        results_df = func(args)
        df.append(results_df, ignore_index=True)
        return results
recursive_method(arg)
return df

但是，这不起作用。如果我以这种方式追加，df 总是空的。

我在这里找到了问题的答案:appending-to-an-empty-data-frame-in-pandas ...如果空的 DataFrame 对象在该方法的范围内，这是可行的，但不适用于我的情况。根据@DSM 的评论，“但追加不会就地发生，因此如果需要，您必须存储输出:”

IOW，我需要有类似的东西:

df = df.append(results_df, ignore_index=True)

在我的本地方法中，但这并不能帮助我访问我的外部范围变量 df 以 append 到它。

有没有办法让这一切发生？这适用于扩展列表对象内容的 python extend 方法(我意识到 DataFrames 不是列表，但是......)。有没有一种类似的方法可以对 DataFrame 对象执行此操作，而不必处理我对 df 的范围界定问题？

顺便说一句，Pandas concat 方法也可以，但我遇到了变量范围的问题。

Answer 1

在 Python3 中，您可以使用 nonlocal 关键字:

def outer_method():
    ... do outer scope stuff here
    df = pd.DataFrame(columns=['A','B','C','D'])
    def recursive_method(arg):
        nonlocal df
        ... do local stuff here
        # func returns a data frame to be appended to empty data frame
        results_df = func(args)
        df = df.append(results_df, ignore_index=True)
        return results

return df

但请注意，每次调用 df.append 都会返回一个新的 DataFrame，因此需要将所有旧数据复制到新的 DataFrame 中。如果你在一个循环中执行 N 次，你最终会制作大约 1+2+3+...+N = O(N^2) 个副本——对性能非常不利。

---

如果您不需要 recursive_method 中的 df 用于除此以外的任何目的追加，最好追加到一个列表，然后构造在 recursive_method 完成后，DataFrame(通过调用 pd.concat 一次):

df = pd.DataFrame(columns=['A','B','C','D'])
data = [df]
def recursive_method(arg, data):
    ... do stuff here
     # func returns a data frame to be appended to empty data frame
     results_df = func(args)
     data.append(df_join_out)
     return results
recursive_method(arg, data)
df = pd.concat(data, ignore_index=True)

如果您需要做的只是在内部收集数据，那么这是最佳解决方案recursive_method 并且可以等待构造新的 df 之后recursive_method 完成。

---

在Python2中，如果你必须在recursive_method中使用df，那么你可以通过df 作为recursive_method 的参数，并返回df:

df = pd.DataFrame(columns=['A','B','C','D'])
def recursive_method(arg, df):
    ... do stuff here
     results, df = recursive_method(arg, df)
     # func returns a data frame to be appended to empty data frame
     results_df = func(args)
     df = df.append(results_df, ignore_index=True)
     return results, df
results, df = recursive_method(arg, df)

但请注意，进行 O(N^2) 复制会付出沉重的代价如上所述。

---

为什么 DataFrames 不能 不应该 append 到就地:

DataFrame 中的底层数据存储在 NumPy 数组中。中的数据NumPy 数组来自连续的内存块。有时没有有足够的空间将 NumPy 数组调整为更大的连续内存块即使内存可用——想象一下数组夹在中间其他数据结构。在那种情况下，为了调整数组的大小，一个新的更大的必须在其他地方分配内存块，并且所有数据都来自必须将原始数组复制到新 block 。一般情况下是做不到的就地。

DataFrames 确实有一个私有(private)方法，_update_inplace，它可以是用于将 DataFrame 的基础数据重定向到新数据。这只是一个伪就地操作，因为新数据(想想 NumPy 数组)必须是首先分配(所有服务员复制)。所以使用 _update_inplace 有两次打击:它使用了一个(理论上)可能不是的私有(private)方法在 Pandas 的 future 版本中，它会招致 O(N^2) 复制惩罚。

In [231]: df = pd.DataFrame([[0,1,2]])

In [232]: df
Out[232]: 
   0  1  2
0  0  1  2

In [233]: df._update_inplace(df.append([[3,4,5]]))

In [234]: df
Out[234]: 
   0  1  2
0  0  1  2
0  3  4  5