python - 如何从 pandas 数据帧的 csv 中删除 '\N' 空值

Question

我有一个 12064 行 x 220 列的 csv 文件，其中一些空值以“\N”形式写入。我正在通过以下方式将 csv 数据读入 pandas 数据框: df = pd.read_csv('my_csv')

处理/删除空值以便我可以对数据进行下游分析的最佳方法是什么？我想也许最好将 '\N' 字符串转换为 'NaN' 并使用 df.dropna() 方法。如果这是最好的选择，我会怎么做？谢谢。

Answer 1

I'm thinking perhaps it might be best to convert the '\N' string to 'NaN' and use the df.dropna() method

pandas.read_csv() 有一个专门用于此目的的参数

na_values : list-like or dict, default None
Additional strings to recognize as NA/NaN. If dict passed, specific per-column NA values

所以，例如

pandas.read_csv('my.csv', na_values=['\N'])

然后你就可以轻松地使用 dropna() 了

引用，http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html