csv - 如何在不知道 NA 值模式的情况下快速将列转换为数字

Question

我有许多具有相同列标题的 CSV 文件要解析。在这些文件中，可能有几种模式来表示 NA，例如:“-”、“--”、“/”、...

我不知道所有的模式，所以我无法设置 na_values read_csv() 的论据正确。

有什么快速的方法可以在这些文件中找到所有 NA 模式，或者在不知道所有模式的情况下，我仍然可以将所有列转换为数字？这是我尝试过的:

patterns = set()
for i, fn in enumerate(glob(u"data/*.csv")):
    df = pd.read_csv(fn, encoding="utf-8-sig", usecols=cols, dtype=str, keep_default_na=False)
    df_num = df.convert_objects(convert_numeric=True)
    patterns.update( df[df_num.isnull()].stack().value_counts().index )

但是 convert_objects()是慢的。这是一些测试:

read_csv(dtype=str) : 大约 2.2 秒

read_csv()没有 dtype参数:大约 2.5 秒

read_csv(dtype=str) + convert_objects() : 8.4s

所以， read_csv()可以比 convert_objects() 更快地将字符串转换为数字.但是如果有一个元素不能转换为数字，那么整列就会变成一个字符串列。

有没有更快的方法可以将所有列转换为数字而不设置 na_values争论？

Answer 1

为什么不将 'index_col' 参数设置为 False。我相信这将导致 Pandas 从零开始按顺序编号您的列。以下是更改后您的代码的外观:

patterns = set()
for i, fn in enumerate(glob(u"data/*.csv")):
    df = pd.read_csv(fn, encoding="utf-8-sig", index_col=False, usecols=cols, dtype=str, keep_default_na=False)
    df_num = df.convert_objects(convert_numeric=True)
    patterns.update( df[df_num.isnull()].stack().value_counts().index )