python - 当文本为 "null"和 "nan"时，无法将文本从 csv 读取到数据框中

Question

我正在尝试将 Google n-gram 词频数据上传到数据框中。

数据集可以在这里找到:https://www.kaggle.com/wheelercode/dictionary-word-frequency

不幸的是，有几个词没有加载。单词“null”出现在csv文件的第9156行，单词“nan”出现在csv文件的第17230行。

我是这样上传数据的

my_freq_df = pd.read_csv('ngram_freq_dict.csv',  dtype = {"word": str, "count": np.int32} ) 
my_freq_df['word'] = my_freq_df['word'].astype("string")

不幸的是，当我尝试检查这些单词是否作为字符串加载时，我发现它们不是

count = 0

for index, row in my_freq_df.iterrows():
    count += 1
    try:
        len(row['word'])
    except:
        print(row['word'])
        print(count)
        print("****____*****")

我们可以看到 try 的输出图像，except 并且我们可以看到我无法计算单词“nan”和“null”的长度。这两个词都被读作 NA。

我该如何解决这个问题？

Answer 1

默认情况下，Pandas 将一组特定值视为“NA”，但您可以使用 keep_default_na=False 明确告诉它忽略这些默认值。 “null”和“nan”恰好都在该列表中!

my_freq_df = pd.read_csv(
    'ngram_freq_dict.csv',
    dtype = {"word": str, "count": np.int32},
    keep_default_na=False
)

截至今天，它默认视为 NA 的完整字符串集是:

[
 "", "#N/A", "#N/A N/A", "#NA", "-1.#IND", "-1.#QNAN", "-NaN", 
 "-nan", "1.#IND", "1.#QNAN", "<NA>", "N/A", "NA", "NULL",
 "NaN", "n/a", "nan", "null"
]

https://pandas.pydata.org/docs/reference/api/pandas.read_csv.html