python - 阻止 Pandas Dataframe 'float' 对象没有属性 'split'

Question

import pandas as pd
from nltk.stem import PorterStemmer, WordNetLemmatizer
porter_stemmer = PorterStemmer()

df = pd.read_csv("last1.csv",sep=',',header=0,encoding='utf-8')

df['rev'] = df['reviewContent'].apply(lambda x : filter(None,x.split(" ")))

Dataset

我正在尝试阻止我的数据框。在标记化时，我收到此错误

df['rev'] = df['reviewContent'].apply(lambda x : filter(None,x.split(" ")))

属性错误:“float”对象没有属性“split”

在使用词干分析时，我也遇到了 float 问题

df['reviewContent'] = df["reviewContent"].apply(lambda x: [stemmer.stem(y) for y in x])

类型错误:“ float ”对象不可迭代

我能做什么？

Answer 1

对数据进行标记化时，您不需要 apply 调用。 str.split 应该就可以了。此外，您可以分割多个空格，因此您不必寻找空字符串。

df['rev'] = df['reviewContent'].astype(str).str.split()

您现在可以像以前一样运行词干分析器:

df['rev'] = df['rev'].apply(lambda x: [stemmer.stem(y) for y in x])