python - 使用 aggfunc=sum 的 Pandas Dataframes 值计算在几列上

Question

我有一个 .csv 数据集正确导入、清理、NA 值按要求等。即(数据集大得多 - 名称可能包含相同的名称和日期)

NAME    SHIFT  DEP1  DEP2  DEP3  DAY
COLLINS AM     1     1     0.5   01/02/2016
JOHNS   PM     0.5   NA    0.5   02/02/2016
SMITH   AM     1     0.5   NA    01/02/2016
RUBBER  AM     NA    1.5   1     03/02/2016
COLLINS PM     NA    1     NA    02/02/2016

它显示加类次数和时长。我需要实现的是计算所有部门的上午类或下午类加类的次数。
例如(如上表)
早类有 7 次加类，下午有 3 次加类。我不想知道谁、何时以及为什么 - 没关系。
我尝试过数据透视表、计数、values_count 等，每次我收到带有嵌套列标题的整个数据框。我是否应该使用额外的 pyhton 魔法并遍历每个 DEP - 计算非 NA 值然后将它们相加并按 SHIFT 分组？
我为问题的风格道歉，但 Pandas 文档有点含糊，我是这个主题的初学者附言。到目前为止，我发现将数据集导入 Excel 更容易，并且在 2 分钟内我得到了我需要的答案 :(。在 pandas 中必须有更好的方法来做到这一点 :)

编辑.1

这些方法中的每一个都返回一个计数，包括 NA 值... :(

编辑.2

我已经解决了这个问题——为什么你的代码 notnull() 掉落了 NA 但在我的 pandas 中它实际上什么也没做(我得到了一个只有 TRUE 值的数据框)...

Answer 1

您可以使用 notnull用于创建掩码，然后是 groupby双 sum 首先是 GroupBy.sum第二个是 DataFrame.sum :

print (df[['DEP1','DEP2','DEP3' ]].notnull())
    DEP1   DEP2   DEP3
0   True   True   True
1   True  False   True
2   True   True  False
3  False   True   True
4  False   True  False

print (df[['DEP1','DEP2','DEP3' ]].notnull().groupby([df.SHIFT]).sum())
       DEP1  DEP2  DEP3
SHIFT                  
AM      2.0   3.0   2.0
PM      1.0   1.0   1.0

df = df[['DEP1','DEP2','DEP3' ]].notnull().groupby([df.SHIFT]).sum().sum(axis=1)
print (df)
SHIFT
AM    7.0
PM    3.0
dtype: float64

另一种解决方案(感谢 jeremycg )与 GroupBy.count :

print (df.groupby('SHIFT')[['DEP1', 'DEP2','DEP3']].count())
       DEP1  DEP2  DEP3
SHIFT                  
AM        2     3     2
PM        1     1     1

df = df.groupby('SHIFT')[['DEP1', 'DEP2','DEP3']].count().sum(axis=1)
print (df)
SHIFT
AM    7
PM    3
dtype: int64

您也可以先按子集选择，然后应用count:

print (df[['DEP1','DEP2','DEP3' ]].groupby([df.SHIFT]).count())
       DEP1  DEP2  DEP3
SHIFT                  
AM        2     3     2
PM        1     1     1

df = df[['DEP1','DEP2','DEP3' ]].groupby([df.SHIFT]).count().sum(axis=1)
print (df)
SHIFT
AM    7
PM    3
dtype: int64