python - 这里正在执行什么减法运算？

Question

我有一个包含多个列的 DataFrame 和一个 Series。两者具有相同的 DateTimeIndex。

数据框:

>>> print(df)

                 AAPL      GOOG       MSFT         AMZN        FB
2018-01-01        NaN       NaN        NaN          NaN       NaN
2018-01-02  -0.667375 -1.567656  -1.161474    -0.674142 -1.886490
2018-01-03   2.004473 -2.802214 -24.084166    -2.447172  2.346972
2018-01-04  -4.261619 -1.471697  -0.027939    -1.753661 -1.835053
2018-01-05  -1.008718 -2.816736  -1.524315    -1.001672  0.080345
2018-01-06 -30.325012 -1.056776  -1.190017  2319.212083 -1.847443
2018-01-07   0.497589  8.588272  -2.434537    -0.793424 -1.194649
2018-01-08  -1.650655 -0.583868 -10.141386     2.704900  7.449458
2018-01-09   1.821119 -6.742207  -0.710584    -0.003800 -1.535461
2018-01-10  -0.624853  0.030330   0.405643    -0.513841 -0.775323

系列:

>>> print(ser)

2018-01-01           NaN
2018-01-02     -1.191427
2018-01-03     -4.996421
2018-01-04     -1.869994
2018-01-05     -1.254219
2018-01-06    456.958567
2018-01-07      0.932650
2018-01-08     -0.444310
2018-01-09     -1.434187
2018-01-10     -0.295609

如果我尝试从数据框中减去系列，我会得到以下结果:

>>> df - ser

            2018-01-01 00:00:00  2018-01-02 00:00:00  2018-01-03 00:00:00  \
2018-01-01                  NaN                  NaN                  NaN   
2018-01-02                  NaN                  NaN                  NaN   
2018-01-03                  NaN                  NaN                  NaN   
2018-01-04                  NaN                  NaN                  NaN   
2018-01-05                  NaN                  NaN                  NaN   
2018-01-06                  NaN                  NaN                  NaN   
2018-01-07                  NaN                  NaN                  NaN   
2018-01-08                  NaN                  NaN                  NaN   
2018-01-09                  NaN                  NaN                  NaN   
2018-01-10                  NaN                  NaN                  NaN   

            2018-01-04 00:00:00  2018-01-05 00:00:00  2018-01-06 00:00:00  \
2018-01-01                  NaN                  NaN                  NaN   
2018-01-02                  NaN                  NaN                  NaN   
2018-01-03                  NaN                  NaN                  NaN   
2018-01-04                  NaN                  NaN                  NaN   
2018-01-05                  NaN                  NaN                  NaN   
2018-01-06                  NaN                  NaN                  NaN   
2018-01-07                  NaN                  NaN                  NaN   
2018-01-08                  NaN                  NaN                  NaN   
2018-01-09                  NaN                  NaN                  NaN   
2018-01-10                  NaN                  NaN                  NaN   

            2018-01-07 00:00:00  2018-01-08 00:00:00  2018-01-09 00:00:00  \
2018-01-01                  NaN                  NaN                  NaN   
2018-01-02                  NaN                  NaN                  NaN   
2018-01-03                  NaN                  NaN                  NaN   
2018-01-04                  NaN                  NaN                  NaN   
2018-01-05                  NaN                  NaN                  NaN   
2018-01-06                  NaN                  NaN                  NaN   
2018-01-07                  NaN                  NaN                  NaN   
2018-01-08                  NaN                  NaN                  NaN   
2018-01-09                  NaN                  NaN                  NaN   
2018-01-10                  NaN                  NaN                  NaN   

            2018-01-10 00:00:00  AAPL  GOOG  MSFT  AMZN  FB  
2018-01-01                  NaN   NaN   NaN   NaN   NaN NaN  
2018-01-02                  NaN   NaN   NaN   NaN   NaN NaN  
2018-01-03                  NaN   NaN   NaN   NaN   NaN NaN  
2018-01-04                  NaN   NaN   NaN   NaN   NaN NaN  
2018-01-05                  NaN   NaN   NaN   NaN   NaN NaN  
2018-01-06                  NaN   NaN   NaN   NaN   NaN NaN  
2018-01-07                  NaN   NaN   NaN   NaN   NaN NaN  
2018-01-08                  NaN   NaN   NaN   NaN   NaN NaN  
2018-01-09                  NaN   NaN   NaN   NaN   NaN NaN  
2018-01-10                  NaN   NaN   NaN   NaN   NaN NaN  

我还收到以下警告:

RuntimeWarning: Cannot compare type 'Timestamp' with type 'str', sort order is
undefined for incomparable objects
  return this.join(other, how=how, return_indexers=return_indexers)

我知道我可以使用 DataFrame.sub 实现逐元素减法

>>> res = df.sub(ser, axis=0)
>>> print(res)

                  AAPL        GOOG        MSFT         AMZN          FB
2018-01-01         NaN         NaN         NaN          NaN         NaN
2018-01-02    0.524052   -0.376229    0.029954     0.517286   -0.695062
2018-01-03    7.000894    2.194208  -19.087745     2.549249    7.343393
2018-01-04   -2.391625    0.398297    1.842054     0.116333    0.034941
2018-01-05    0.245501   -1.562517   -0.270096     0.252547    1.334565
2018-01-06 -487.283579 -458.015343 -458.148584  1862.253516 -458.806010
2018-01-07   -0.435061    7.655622   -3.367187    -1.726074   -2.127300
2018-01-08   -1.206344   -0.139558   -9.697076     3.149210    7.893768
2018-01-09    3.255306   -5.308020    0.723603     1.430386   -0.101274
2018-01-10   -0.329244    0.325939    0.701251    -0.218232   -0.479714

然而，我不知道的是:

• 使用Dataframe.__sub__执行什么操作？

• 此外，从具有匹配 Index 类型/内容的 DataFrame 中减去 Series 对我来说似乎非常违反直觉, 不进行元素减法。不这样做的理由是什么？

Answer 1

阅读您很好地链接到的文档，我们发现:

axis : {0, 1, ‘index’, ‘columns’}

For Series input, axis to match Series index on

默认值为'columns'。这给了我们做减法时会发生什么的提示，即:

df.sub(s) # by not specifying axis you are passing axis=1 / 'columns'

或

df - s

这些都不会如您所愿。现在让我们回顾一下黄色方框。另一种选择是 'index'，我们将匹配索引(这听起来与您期望的完全一样)，即:

df.sub(s, axis=0) # or 'index' <-- note that you pass a param here

或

(df.T - s).T  #swap columns and rows and swap back again (transpose)

---

为什么？这是一个设计问题。设计师也可能将 'index' 设置为默认值，但出于未知原因(可能是因为它更频繁地使用并且 pandas 背后的底层包 numpy 以这种方式进行操作)他们选择了 列。通过执行以下操作可以轻松测试 numpy 行为:df.values - s.values 它确实在您对行(索引)感兴趣的列上运行。

简短原因:numpy 的工作原理是这样的。

---

对此最优雅的解决方案是使用 .sub() 并指定 axis='index'。 (或 0，但在这种情况下索引可能更具可读性)