python - 在 pandas DataFrame 列中存储列表

Question

我正在尝试使用 NLTK 和 Pandas 进行一些文本处理。

我有带有“文本”列的 DataFrame。我想添加列“text_tokenized”，该列将存储为嵌套列表。

我的标记文本代码是:

def sent_word_tokenize(text):
    text = unicode(text, errors='replace')
    sents = sent_tokenize(text)
    tokens = map(word_tokenize, sents)

    return tokens

目前，我正在尝试按以下方式应用此功能:

df['text_tokenized'] = df.apply(lambda row: sent_word_tokenize(row.text), axis=1)

这给了我错误:

ValueError: Shape of passed values is (100, 3), indices imply (100, 21)

不确定如何修复它以及这里出了什么问题。

Answer 1

通过使用不同的轴解决了我自己的问题:

而不是:

df['text_tokenized'] = df.apply(lambda row: sent_word_tokenize(row.text), axis=1)

我用过:

df['text_tokenized'] = df.text.apply(lambda text: sent_word_tokenize(text))

虽然我不确定它为什么有效，但如果有人可以向我解释它，我真的很感激。