python - Pandas 无法像我期望的那样工作 apply

Question

我有一个包含一些缺失值的 DataFrame，我需要将其替换为来自不同 DataFrame 的其他值。

我可以用 apply 做到这一点，但它非常慢，因为有很多数据。我怀疑它非常慢，因为 apply 在所有行上循环并且必须在每个函数调用中执行 pd.isnull 检查。

由于没有那么多 NaN 值，我认为 pandas where 函数可能是一个更快的选择。但是，考虑到 apply 的工作原理，这并没有像我认为的那样起作用。

我创建了一个简化示例，如下所示。 (如您所见，索引不是唯一的，但与整个数据集相比，属于一个键的组相对较小。):

import pandas as pd
import numpy as np 

df = pd.DataFrame(np.array([['x', 'a', 10], ['x', 'b', np.nan], ['y', 'b', 20]], dtype=object), columns=['collection', 'subpart', 'freq']).set_index('collection')
df_other = pd.DataFrame(np.array([['x', 'a', 40], ['x', 'b', 30], ['x', 'c', 50]], dtype=object), columns=['collection', 'subpart', 'freq']).set_index('collection')

# This works, but is too slow:
df.freq = df.apply(lambda row: df_other.loc[row.name].pipe(lambda df: df[df.subpart == row.subpart]).freq.values[0] if pd.isnull(row.freq) else row.freq, axis=1)

# I hoped to optimize it like this, but throws error:
df.where(pd.isnull, lambda row: df_other.loc[row.name].pipe(lambda df: df[df.subpart == row.subpart]).freq.values[0], axis=1)

最后一行代码抛出“AttributeError 'DataFrame' object has no attribute 'name'”。此处的“轴”参数似乎与 apply 中的含义不同。

所以，我的问题是:我可以在我打算使用 pandas where 的地方制作它吗？结果与 apply 相同。我也会接受任何优化我尝试以其他方式做的事情的解决方案。

附言。由于来自不同数据帧的数据具有不同的形状，我不能使用像 combine_first

这样的东西

Answer 1

这是更新。我们只需要将 subpart 添加到索引中，以便将其包含在对齐中。正如@DanielMesejo 指出的那样，我们需要指定 overwrite=False 以不更改现有的非空数据。

df = df.set_index('subpart', append=True)
df.update(df_other.set_index('subpart', append=True), overwrite=False)
df = df.reset_index('subpart')

还有 .fillna 因为我们只需要填充缺失值:

df = (df.set_index('subpart', append=True)
        .fillna(df_other.set_index('subpart', append=True))
        .reset_index('subpart'))

---

           subpart freq
collection             
x                a   10
x                b   30
y                b   20