python - 在 Python 中删除包含 "?"的行

Question

我操作的是UCI数据集，有些数据集包含“？”在行中。例如:

56.0,1.0,2.0,130.0,221.0,0.0,2.0,163.0,0.0,0.0,1.0,0.0,7.0,0
58.0,1.0,2.0,125.0,220.0,0.0,0.0,144.0,0.0,0.4,2.0,?,7.0,0
57.0,0.0,2.0,130.0,236.0,0.0,2.0,174.0,0.0,0.0,2.0,1.0,3.0,1
38.0,1.0,3.0,138.0,175.0,0.0,0.0,173.0,0.0,0.0,1.0,?,3.0,0

我首先使用numpy.loadtxt()加载文件，并尝试删除带有“？”的行使用 line.contains('?')，但出现类型错误。

然后我使用 pandas.read_csv，但是，我仍然没有简单的方法来删除所有包含特定字母“?”的行。

有没有简单的方法来清理数据？我需要一个没有任何“？”的浮点型数据文件。在里面。谢谢~

Answer 1

您可以使用 Pandas 做到这一点。

import pandas as pd

df = pd.read_csv('file.csv')
df = df.replace('?', pd.np.nan)
df = df.dropna()