python - Pandas DataFrame.Groupby.Agg 字典中的自定义列选择

Question

我在选择要在 Pandas.DataFrame.Groupby.agg 中插入哪些列时遇到问题。

这是获取和准备数据的代码。

# Data Collecting and library import
from pandas_datareader import data
import pandas as pd

symbol = 'AAPL'
source = 'yahoo'
start_date = '2018-01-01'
end_date = '2019-04-24'
stock = data.DataReader(symbol, source, start_date, end_date)

new_range = pd.date_range(start="2018-1-1", end="2019-12-30")
stock = stock.reindex(new_range).fillna(method='ffill').fillna(method='bfill')
stock['Day'] = stock.index.weekday_name
stock['Month'] = stock.index.month_name()
stock['Size'] = stock['High'].apply(lambda x: 'Big' if x>175 else 'Small')
stock['Other Size'] = stock['Low'].apply(lambda x: 'Big' if x>175 else 'Small')
stock.round(2)
stock.head(10)

结果是

到目前为止我所做的是

stock.groupby(['Day', 'Month']).agg(
    {
        'High' : [min, 'mean', max],
        'Low' : [min, 'mean', max],
        'Open' : 'mean',
        'Size' : lambda x: x.value_counts().index[0],
        # Other_non_numeric : lambda x: x.value_counts().index[1],
        # Other_columns : 'mean'
    }
).round(2)

结果是:

问题是:

1. 如何包含其他非数字列？
2. 如何在字典中包含其他未确定的列并将方法设置为“mean”？

Answer 1

1) 要确定某列是否为数字，可以使用 pandas.api.types.is_numeric_dtype

2) 要查找剩余的列，您可以使用 set(df.columns) 减去您在 groupby 中使用的列以及具有特定聚合函数的列，例如

from pandas.api.types import is_numeric_dtype

fields_groupby = ['Day', 'Month']
fields_specific = {
    'High': [min, 'mean', max],
    'Low': [min, 'mean', max],
    'Open': 'mean',
    'Size': lambda x: x.value_counts().index[0],
}
fields_other = set(set(stock.columns) - set(fields_groupby) - set(fields_specific))
fields_agg_remaining = {col: 'mean' if is_numeric_dtype(stock[col]) else lambda x: x.value_counts().index[1] for col in fields_other}

之后，将fields_specific和fields_agg_remaining组合起来作为聚合字段列表

agg_fields = fields_agg_remaining
agg_fields.update(fields_specific)
stock.groupby(['Day', 'Month']).agg(agg_fields).round(2)

编辑:您可以组合所有内容以将它们放入字典参数中，例如:

stock.groupby(['Day', 'Month']).agg(
    {col:
         [min, 'mean', max] if col in ['High', 'Low'] else
         'mean' if col in ['Open'] else
         lambda x: x.value_counts().index[0] if col in ['Size'] else
         'mean' if is_numeric_dtype(stock[col]) else
         lambda x: x.value_counts().index[1] for col in set(set(stock.columns) - {'Day', 'Month'})}
).round(2)