python - 在 sklearn/pandas 中编码 "k out of n labels"功能

Question

我有一个功能，它是一组标签的子集。

>>> labels = ['ini', '', 'pdf', 'flac', 'php']
>>> data = [random.sample(labels, random.randint(0, len(labels))) for _ in range(20)]
>>> data[:5]
[['pdf'], [], ['pdf', 'flac'], ['php', 'pdf', 'ini'], ['', 'php', 'ini']]

我需要一个“n 中的 k 编码器”来编码此功能。我尝试使用/破解 OneHotEncoder、LabelEncoder、get_dummies，但无法很好地表示这些数据。标签集可能无法提前知道。

在纯Python中，(缓慢的)实现可能是-

>>>> feature_space = sorted(list(set(sum(data, []))))
>>>> data2 = [[int(c in row) for c in feature_space] for row in data]
>>> data2[:5]
[[0, 0, 1, 1, 0], [1, 1, 0, 1, 0], [1, 1, 0, 0, 0], [0, 0, 1, 0, 1], [1, 0, 1, 1, 1]]

是否有 pandas 或 sklearn 函数/管道来编码此类功能？

Answer 1

使用 pandas 系列来跟踪索引中的标签。然后通过 .loc 方法访问 1 的值。使用 0 填充缺失值。

import pandas as pd
import numpy as np

s1 = pd.Series(np.ones(len(labels)), labels)
s0 = pd.Series(np.zeros(len(labels)), labels)

df = pd.concat([s1.loc[d].combine_first(s0) for d in data], axis=1)
df.astype(int).T[labels].values

设置

import pandas as pd
import numpy as np

np.random.seed([3,1415])
labels = ['ini', '', 'pdf', 'flac', 'php']
data = [random.sample(labels, random.randint(0, len(labels))) for _ in range(20)]

s1 = pd.Series(np.ones(len(labels)), labels)
s0 = pd.Series(np.zeros(len(labels)), labels)

验证

数据[0]为空

data[0]

[]

<小时/>

用它切片 s1 会产生一个空系列。

s1.loc[data[0]]

Series([], dtype: float64)

<小时/>

与s0结合填充0 s1.loc[data[0]].combine_first(s0)

        0.0
flac    0.0
ini     1.0
pdf     0.0
php     0.0
dtype: float64

<小时/>

pd.concat 将它们全部组合在一起。

df = pd.concat([s1.loc[d].combine_first(s0) for d in data], axis=1).T

print df.head()

       flac  ini  pdf  php
0   0     0    1    0    0
1   0     0    0    0    1
2   1     1    0    1    1
3   0     1    0    0    0
4   0     0    0    1    0

<小时/>

按标签切片以获取正确的顺序并获取值

df.astype(int)[labels].values

array([[1, 0, 0, 0, 0],
       [0, 0, 0, 0, 1],
       [0, 1, 1, 1, 1],
       [0, 0, 0, 1, 0],
       [0, 0, 1, 0, 0],
       [1, 1, 1, 1, 1],
       [1, 1, 1, 1, 1],
       [1, 0, 1, 1, 1],
       [1, 1, 1, 1, 1],
       [1, 1, 1, 1, 1],
       [0, 0, 1, 1, 1],
       [1, 1, 1, 1, 1],
       [1, 0, 1, 1, 0],
       [0, 0, 0, 0, 0],
       [0, 1, 0, 0, 1],
       [0, 0, 1, 0, 1],
       [1, 1, 1, 1, 1],
       [0, 0, 0, 1, 1],
       [0, 0, 0, 1, 0],
       [1, 1, 0, 1, 1]])