python - Pandas groupby + scikit learn 电源变压器

Question

作为我在 Multiple distribution normality testing and transformation in pandas dataframe 中的问题的后续内容，我从scikit learn中找到了关于电源变压器的功能。

https://scikit-learn.org/stable/auto_examples/preprocessing/plot_map_data_to_normal.html

让我们考虑一下大型零售网络(数百种产品和数千家商店)的销售情况，简化如下:- 商店 1、商店 2- 产品A、产品B、产品C

我想通过运行参数测试来检测销售水平的异常情况，这需要对所有分布进行标准化。

我尝试让 Power Transformer 函数通过函数分组来尽可能高效地标准化所有分布，但无济于事。

数据实际上包含一些负值，因此我决定使用允许负值的 Yeo-Johnson 参数。

我尝试了以下方法:

from sklearn.preprocessing import PowerTransformer
yj = PowerTransformer(method='yeo-johnson') 

df['ScaledSales'] = df.groupby(['Store', 'Product'])['Sales'].transform(lambda x: yj.fit(x))

这返回了一个错误。“预期是 2D 数组，但得到的是 1D 数组。如果数据具有单个特征，则使用 array.reshape(-1, 1) reshape 数据；如果数据包含单个样本，则使用 array.reshape(1, -1) reshape 数据。”

我还尝试使用它声明一个使用 pandas .to_transform() 的函数来转换销售值列表，使其成为可以被视为 2D 数据集的数据帧，但它返回了相同的错误:

def scale (x):
    x.to_frame()
    yj.fit(x)
    yj.transform(x)

df['ScaledSales'] = df.groupby(['Store','Product'])['Sales'].transform(scale)

理想情况下，我希望在数据框中添加一个 ScaledSales 列，其中包含由 PowerTransformer 根据商店 + 产品组按功能缩放的值，从而标准化每个商店 + 产品组合的销售分布。

据我对 PowerTransformer 的了解，这应该是可能的，对吧？

感谢您的帮助。

Answer 1

假设你的df是这样的

import pandas as pd
import numpy as np
np.random.seed(1)

df = pd.DataFrame({ 
    'Store': ['Store 1', 'Store 2'] * 50,
    'Product': ['Product A', 'Product B', 'Product C', 'Product D'] * 25,
    'Sales': [int(x) for x in np.random.randn(100)*10000]
    })

df

      Store    Product  Sales
0   Store 1  Product A  16243
1   Store 2  Product B  -6117
2   Store 1  Product C  -5281
3   Store 2  Product D -10729
4   Store 1  Product A   8654
..      ...        ...    ...
95  Store 2  Product D    773
96  Store 1  Product A  -3438
97  Store 2  Product B    435
98  Store 1  Product C  -6200
99  Store 2  Product D   6980

[100 rows x 3 columns]

创建分组 df:

df_groupby = df.groupby(['Store', 'Product']).agg(Sales_sum=('Sales', 'sum')).reset_index()
df_groupby

     Store    Product  Sales_sum
0  Store 1  Product A       8696
1  Store 1  Product C      60152
2  Store 2  Product B     -24319
3  Store 2  Product D      16054

然后 reshape 数据并标准化

from sklearn.preprocessing import PowerTransformer
yj = PowerTransformer(method='yeo-johnson') 

data = np.array(df_groupby['Sales_sum'])
reshaped_data = np.array(data).reshape(-1, 1)
print(yj.fit(reshaped_data))
print(yj.lambdas_)
print(yj.transform(reshaped_data))

PowerTransformer(copy=True, method='yeo-johnson', standardize=True)
[0.99939608]
[[-0.21109932]
 [ 1.49251682]
 [-1.31406424]
 [ 0.03264674]]