python - ParserError : Error tokenizing data. C 错误 : Expected 7 fields in line 4, 在读取 csv 文件 pandas 时看到 10 个错误

Question

我正在尝试使用 Pandas 读取 csv 文件

df1 = pd.read_csv('panda_error.csv', header=None, sep=',')

但我收到此错误:

ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10

为了重现性，这里是 csv 文件 panda_error.csv

superkingdom:Bacteria , phylum:Actinobacteria , class:Actinobacteria , order:Corynebacteriales , family:Corynebacteriaceae , genus:Corynebacterium , species:Corynebacterium efficiens  1
superkingdom:Bacteria , phylum:Proteobacteria , class:Alphaproteobacteria , order:Rhizobiales , family:Aurantimonadaceae , genus:Aurantimonas , species:Aurantimonas manganoxydans  1
superkingdom:Bacteria , phylum:Proteobacteria , subphylum:delta/epsilon subdivisions , class:Deltaproteobacteria , no rank:unclassified Deltaproteobacteria , genus:Candidatus Entotheonella    1
superkingdom:Bacteria , phylum:Proteobacteria , class:Gammaproteobacteria , order:Pseudomonadales , family:Pseudomonadaceae , genus:Pseudomonas , species group:Pseudomonas syringae group , species subgroup:Pseudomonas syringae group genomosp. 2 , species:Pseudomonas amygdali , no rank:Pseudomonas amygdali pv. tabaci   1
superkingdom:Bacteria , phylum:Actinobacteria , class:Actinobacteria , order:Corynebacteriales , family:Nocardiaceae , genus:Rhodococcus , species:Rhodococcus wratislaviensis  1
superkingdom:Bacteria , phylum:Firmicutes , class:Clostridia , order:Clostridiales , family:Peptostreptococcaceae , genus:Peptoclostridium , species:Peptoclostridium difficile1

我不确定为什么会发生这种情况以及如何解决这个问题。其他答案只是建议 1. 使用我不想做的 error_bad_lines=False 忽略令人不安的行，或 2. 特定于某些情况。

如果有帮助，这里是完整的错误消息:

---------------------------------------------------------------------------
ParserError                               Traceback (most recent call last)
<ipython-input-34-72c0ecaf0513> in <module>
----> 1 df1 = pd.read_csv('panda_error.csv', header=None, sep=',')

/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, skipfooter, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, cache_dates, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, doublequote, escapechar, comment, encoding, dialect, error_bad_lines, warn_bad_lines, delim_whitespace, low_memory, memory_map, float_precision)
    683         )
    684 
--> 685         return _read(filepath_or_buffer, kwds)
    686 
    687     parser_f.__name__ = name

/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in _read(filepath_or_buffer, kwds)
    461 
    462     try:
--> 463         data = parser.read(nrows)
    464     finally:
    465         parser.close()

/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
   1152     def read(self, nrows=None):
   1153         nrows = _validate_integer("nrows", nrows)
-> 1154         ret = self._engine.read(nrows)
   1155 
   1156         # May alter columns / col_dict

/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
   2057     def read(self, nrows=None):
   2058         try:
-> 2059             data = self._reader.read(nrows)
   2060         except StopIteration:
   2061             if self._first_chunk:

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._tokenize_rows()

pandas/_libs/parsers.pyx in pandas._libs.parsers.raise_parser_error()

ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10

Answer 1

Pandas 是一个处理 表格 数据的工具。
这意味着每行应包含相同数量的字段。
在 CSV 输入的情况下，还有一项要求，即字段
在每一行中 的顺序应该与 相同。

但是您的输入文件实际上无法满足这两个要求。

前 2 行(可能还有大多数其他行)有 7 个字段:
super 界、门、纲、目、科、属和种。

第三行包含:
super 王国，门，亚门，类，没有等级和属。
所以:

有 附加 字段(亚门和无等级)，

你没有像秩序、家庭和物种这样的领域。

这不会导致 read_csv 失败，只是因为字段数
不超过前一行中的字段数(总共有 6 个 字段)。

但真正的问题是在第 4 行，那里有 10 个 字段。

所以“普通”的 read_csv 在这里绝不是任何好的选择。
即使您设置的列数足以读取所有行，
属性将以难以阅读的方式“分散”在列之间。

任何基于列名分析此类数据的尝试也将失败，
因为每一列在不同的行中会有不同的信息。

另一个问题是，以逗号分隔的数据将包含例如
super 王国:细菌，即:

应该是列(属性)的文本 名称 ,

冒号，

实际值。

要克服这些问题，请尝试另一种方法来读取您的输入文件:

使用 read_csv 读取您的输入文件，但作为 单个
列(sep 设置为未使用的字符)。

df = pd.read_csv('input.csv', sep='|', names=['col1'])

下一步，生成一个可以被分析的DataFrame
一个程序是extractall(需要重新导入):

df2 = df.col1.str.extractall(
    r'(?P<name>[A-Z ]+[A-Z]):(?P<value>[A-Z /]+[A-Z])', flags=re.I)\
    .reset_index(level=1, drop=True)

如果您不熟悉正则表达式，请阅读有关它们的一些内容。

结果是一个包含 2 列的 DataFrame:

name - 属性名称，例如 super 王国，

值 - 属性值，例如细菌。

索引与 df 中的相同 - 它是源行号，从 0 开始。

对于您的示例数据，结果如下:

                name                                value
0       superkingdom                             Bacteria
0             phylum                       Actinobacteria
0              class                       Actinobacteria
0              order                    Corynebacteriales
0             family                   Corynebacteriaceae
0              genus                      Corynebacterium
0            species            Corynebacterium efficiens
1       superkingdom                             Bacteria
1             phylum                       Proteobacteria
1              class                  Alphaproteobacteria
1              order                          Rhizobiales
1             family                    Aurantimonadaceae
1              genus                         Aurantimonas
1            species           Aurantimonas manganoxydans
2       superkingdom                             Bacteria
2             phylum                       Proteobacteria
2          subphylum           delta/epsilon subdivisions
2              class                  Deltaproteobacteria
2            no rank     unclassified Deltaproteobacteria
2              genus             Candidatus Entotheonella
3       superkingdom                             Bacteria
3             phylum                       Proteobacteria
3              class                  Gammaproteobacteria
3              order                      Pseudomonadales
3             family                     Pseudomonadaceae
3              genus                          Pseudomonas
3      species group           Pseudomonas syringae group
3   species subgroup  Pseudomonas syringae group genomosp
3            species                 Pseudomonas amygdali
3            no rank              Pseudomonas amygdali pv
4       superkingdom                             Bacteria
4             phylum                       Actinobacteria
4              class                       Actinobacteria
4              order                    Corynebacteriales
4             family                         Nocardiaceae
4              genus                          Rhodococcus
4            species          Rhodococcus wratislaviensis
5       superkingdom                             Bacteria
5             phylum                           Firmicutes
5              class                           Clostridia
5              order                        Clostridiales
5             family                Peptostreptococcaceae
5              genus                     Peptoclostridium
5            species           Peptoclostridium difficile

如果你想把这些数据作为一个表格，每个名字都被转换
到相应的列，运行:

df3 = df2.set_index('name', append=True).unstack(fill_value='')
df3.columns = df3.columns.droplevel()

看一下结果，我认为它会比
任何其他尝试。