python - dtype Int64 不返回底层数据的 View ？

Question

我有两个大小为 (5, 5) 的数据框dtype 之一 int64和另一个类型 pd.Int64Dtype .

np.random.seed(2021)
data = np.arange(25).reshape((5, 5))
one  = pd.DataFrame(data, dtype='int64')
two  = pd.DataFrame(data.copy(), dtype='Int64') # Notice the capital 'I'
r, c = np.random.randint(0, 5, (2, 5))

当我尝试更改基础数据时会出现问题。

one.to_numpy()[r, c] = 99 # Changes the underlying data
print(one)
    0   1   2   3   4
0   0  99   2   3   4
1   5   6   7   8  99
2  10  11  12  13  14
3  15  99  17  18  19
4  99  99  22  23  24

two.to_numpy()[r, c] = 99 # Doesn't change the underlying data
print(two)
    0   1   2   3   4
0   0   1   2   3   4
1   5   6   7   8   9
2  10  11  12  13  14
3  15  16  17  18  19
4  20  21  22  23  24

我明白 DataFrame.to_numpy不一定返回 View 。

DataFrame.to_numpy():

copy: bool, default False

Whether to ensure that the returned value is not a view on another array. Note that copy=False does not ensure that to_numpy() is no-copy. Rather, copy=True ensure that a copy is made, even if not strictly necessary.

如何以矢量化方式更改 DataFrame 中的给定位置( r 、 c )？我有一个使用 for 循环 + .iloc 的解决方案.就其值(value)而言，我的 Pandas 版本是 1.3.1 .

Answer 1

具有 dtype Int64 的 ExtensionBlocks 是正确的不支持 numpy 赋值，因为它们被视为 5 个单独的块而不是单个数字块。这会影响生成对底层结构的统一可修改引用的能力。
您可以通过从管理器访问块来观察这一点(请注意，这仅用于观察目的):

print('One Blocks')
for blk in one._mgr.blocks:
    print(blk)

print('Two Blocks')
for blk in two._mgr.blocks:
    print(blk)

输出:

One Blocks
NumericBlock: slice(0, 5, 1), 5 x 5, dtype: int64
Two Blocks
ExtensionBlock: slice(0, 1, 1), 1 x 5, dtype: Int64
ExtensionBlock: slice(1, 2, 1), 1 x 5, dtype: Int64
ExtensionBlock: slice(2, 3, 1), 1 x 5, dtype: Int64
ExtensionBlock: slice(3, 4, 1), 1 x 5, dtype: Int64
ExtensionBlock: slice(4, 5, 1), 1 x 5, dtype: Int64

请注意，DataFrame ( two ) 将这些作为单独的底层结构，这意味着转换为数组调用 _interleave正如评论指出的那样“底层数据是在 _interleave 中复制的”。
备注 这适用于包含多个块的所有数据帧。
意思很简单:

df = pd.DataFrame({'A': [1, 2], 'B': ['a', 'b']})
df.to_numpy()[0, 0] = 5  # No Change
print(df)

   A  B
0  1  a
1  2  b

也不能以这种方式修改。
*引用块

# df._mgr.blocks

NumericBlock: slice(0, 1, 1), 1 x 2, dtype: int64
ObjectBlock: slice(1, 2, 1), 1 x 2, dtype: object

考虑到这一点，我们必须使用 to_numpy 生成的副本。并重建数据帧:

a = two.to_numpy()  # Store New Array
a[r, c] = 99  # Update The Values
# Reconstruct the DataFrame
two = pd.DataFrame(a, index=two.index, columns=two.columns, dtype='Int64')

astype也可以与已知的 dtypes 一起使用，以确保列映射到适当的 dtype(这在多个 dtypes 的实例中可能会有所帮助):

two = pd.DataFrame(a, index=two.index, columns=two.columns).astype(two.dtypes)

输出:

print(two)

    0   1   2   3   4
0   0  99   2   3   4
1   5   6   7   8  99
2  10  11  12  13  14
3  15  99  17  18  19
4  99  99  22  23  24


print(two.dtypes)
0    Int64
1    Int64
2    Int64
3    Int64
4    Int64
dtype: object

然而，鉴于这种单一的替换，使用 numpy 构建 2D 蒙版可能是更好的方法:

# Build Boolean Mask (default False)
result = np.zeros(two.shape, dtype='bool')
result[r, c] = True  # Set True Locations
two = two.mask(result, 99)  # DataFrame.mask to replace values

或者使用 DataFrame.where 的反向掩码:

# Build Boolean Mask (default True)
result = np.ones(two.shape, dtype='bool')
result[r, c] = False  # Set False Locations
two = two.where(result, 99)  # DataFrame.where to replace values

两者都产生:

print(two)
    0   1   2   3   4
0   0  99   2   3   4
1   5   6   7   8  99
2  10  11  12  13  14
3  15  99  17  18  19
4  99  99  22  23  24


print(two.dtypes)
0    Int64
1    Int64
2    Int64
3    Int64
4    Int64
dtype: object

*这些方法的好处是不会丢失 dtype 信息。