python - 分配给 pandas DataFrame 中的新列时令人费解的 KeyError

Question

我正在做一些自然语言处理，我有一个看起来像这样的 MultiIndexed DataFrame(除了实际上有大约 3,000 行):

                             Title                                              N-grams
Period  Date                                                                                                                     
2015-01 2015-01-01 22:00:10  SIRF: Simultaneous Image Registration and Fusi...  [@SENTBEGIN paper, paper propose, propose nove...    
        2015-01-02 16:54:13  Generic construction of scale-invariantly coar...  [@SENTBEGIN encode, encode temporal, temporal ...
        2015-01-04 00:07:00  Understanding Trajectory Behavior: A Motion Pa...  [@SENTBEGIN mining, mining underlie, underlie ...
        2015-01-04 09:07:45  Hostile Intent Identification by Movement Patt...  [@SENTBEGIN the, the recent, recent year, year...
        2015-01-04 14:35:58  A New Method for Signal and Image Analysis: Th...  [@SENTBEGIN brief, brief review, review provid...

我想做的是计算每个 n-gram 在每个月出现的次数(因此第一个索引“Period”)。这样做是相当简单的，如果耗时(并且因为“N-grams”列中的每个单元格都是一个列表，我不确定可以做很多事情来加快速度)。我使用以下代码创建了一个新的 DataFrame 来保存计数:

# Create the frequencies DataFrame.
period_index = ngrams.index.unique(level = "Period")
freqs = DataFrame(index = period_index)

# Count the n-grams in each period.
for period in period_index:
    for ngrams_list in ngrams.loc[period, "N-grams"]:
        for ngram in ngrams_list:
            if not ngram in freqs.columns:
                freqs[ngram] = 0
            freqs.loc[period, ngram] += 1

逻辑非常简单:如果已经看到有问题的 n-gram(在“freqs”中有一列)，则将计数加 1。如果还没有看到，则创建一个新的该 n-gram 的 0 列，然后正常递增。在绝大多数情况下，这工作正常，但对于一小部分 n-gram，当循环到达增量行时我会收到此错误:

KeyError: u'the label [7 85.40] is not in the [index]'

(很抱歉缺少正确的堆栈跟踪——我在 Zeppelin Notebook 中执行此操作，而 Zeppelin 没有提供正确的堆栈跟踪。)

更多的调试表明，在这些情况下，新列的创建会悄无声息地失败(也就是说，它不起作用，但它也不会返回异常)。

可能值得注意的是，在早期版本的代码中，我使用“loc”直接分配给新创建的列中的单元格，而不是先创建列，如下所示:

if not ngram in freqs.columns:
    freqs.loc[period, ngram] = 1

我更改了它，因为它通过将该 n-gram 的 NaN 分配给所有其他时间段而导致问题，但直接分配在与新代码完全相同的 n-gram 上阻塞。

通过将增量行包装在 try/except block 中，我发现该错误极其很少见:在总共超过 100,000 个 n-gram 中，大约有 20 个出现错误语料库。以下是一些示例:

"7 85.40"
"2014 july"
"2010 3.4"
"and 77"
"1997 and"
"and 2014"
"6 2008"
"879 --"
"-- 894"
"2003 -"
"- 2014"

这 20 个中的大部分包含数字，但至少有一个完全是字母(两个单词用空格分隔——它不在上面的列表中，因为我在输入这个问题时重新运行了脚本，但没有一直到那个点)，并且大量只有数字的 n-gram 不会导致问题。大多数有问题的都涉及年份，从表面上看，这可能表明与 DataFrame 的 DatetimeIndex 存在某种混淆(假设 DatetimeIndex 接受部分匹配)，但这并不能解释非日期，尤其是那些以字母开头。

尽管 DatetimeIndex 冲突的可能性不大，但我尝试了一种不同的方法来创建每个新列(如对 Adding new column to existing DataFrame in Python pandas 的回答所建议的)，使用“loc”来避免行和列之间的任何混淆:

freqs.loc[:, ngram] = Series(0, index = freqs.index)

...但这与我的原始代码完全相同，它通过分配给一个不存在的列来隐式创建每个新列:

KeyError: u'7 85.40'

接下来，我尝试了 DataFrame.assign 方法(在上面引用的相同答案中建议，尽管我需要添加 pandas assign with new column name as string 的答案建议的解决方法):

kwarg = {ngram: 0}
freqs = freqs.assign(**kwarg)

唉，这会产生完全相同的错误。

有没有人对为什么会发生这种情况有任何见解？考虑到这种情况，我想我可以忽略有问题的 n-gram，但最好了解发生了什么。

Answer 1

不推荐或不需要嵌套的 for 循环。您可以使用 sklearn.preprocessing 库中的 MultiLabelBinarizer 提供单热编码，然后使用 groupby + sum使用结果并加入您的原始数据框。

这是一个演示:

df = df.set_index(['L1', 'L2'])

row_counts = df['values'].apply(pd.Series.value_counts).fillna(0).astype(int)

# alternative if above does not work
row_counts = df['values'].apply(lambda x: pd.Series(x).value_counts(sort=False))\
                         .fillna(0).astype(int)

row_counts_grouped = row_counts.groupby(level='L1').sum()

df = df.join(row_counts_grouped, how='inner')

print(df)

          values  a  b  c  d  e  g
L1 L2                             
1  1   [a, a, c]  3  2  2  1  1  0
   2   [b, c, d]  3  2  2  1  1  0
   3   [a, b, e]  3  2  2  1  1  0
2  1   [a, e, g]  1  2  1  2  2  1
   2   [b, d, d]  1  2  1  2  2  1
   3   [e, b, c]  1  2  1  2  2  1

设置/原始解决方案

我们不考虑使用此解决方案的行中的重复值:

from sklearn.preprocessing import MultiLabelBinarizer

df = pd.DataFrame([[1,1,['a','a','c']], [1,2,['b','c','d']], [1,3,['a','b','e']],
                   [2,1,['a','e','g']], [2,2,['b','d','d']], [2,3,['e','b','c']]],
                  columns=['L1', 'L2', 'values'])

df = df.set_index(['L1', 'L2'])

mlb = MultiLabelBinarizer()

onehot = pd.DataFrame(mlb.fit_transform(df['values']),
                      columns=mlb.classes_,
                      index=df.index.get_level_values('L1'))

onehot_grouped = onehot.groupby(level='L1').sum()

df = df.join(onehot_grouped, how='inner')

print(df)

          values  a  b  c  d  e  g
L1 L2                             
1  1   [a, a, c]  2  2  2  1  1  0
   2   [b, c, d]  2  2  2  1  1  0
   3   [a, b, e]  2  2  2  1  1  0
2  1   [a, e, g]  1  2  1  1  2  1
   2   [b, d, d]  1  2  1  1  2  1
   3   [e, b, c]  1  2  1  1  2  1