python - 如何在 Pandas 中读取多 CSV？

Question

我有一个如下所示的日志文件:

A, colA1, colA2
B, colB1,
C, colC1, colC2, colC3, colC4
A, 1, 3
B, 2
C, 3, 1, 2, 4
...

本质上，日志文件包含多个 CSV 文件。每行都以 csv 文件的标识符开头，然后转储一行。

目前，我在日志上使用 grep A, 返回以下输出:

A, colA1, colA2
A, 1, 3
...

然后我可以使用 pandas 将其读取到数据框中。但是，我必须为 B 和 C 执行此操作。我想知道是否有一种方法可以一次性加载此日志文件，而无需 greping 和存储到本地 csv 文件的中间步骤？

Answer 1

Pandas 索引可以在这方面提供帮助。只需读取一个对象中的文件，然后根据指示器列应用条件将数据隔离在三个对象中。

检查下面的例子:

import pandas as pd
complete_obj = pd.read_csv(file_loc)

file_A_obj = complete_obj[complete_obj['indicator_col']=='A']
file_B_obj = complete_obj[complete_obj['indicator_col']=='B']
file_C_obj = complete_obj[complete_obj['indicator_col']=='C']