python - .CSV 文件字典的数据清理

Question

我正在尝试找出一个很好的实现来从一组 CSV 文件中删除选定的列。我有一个 CSV 文件目录，我想从中聚合时间序列数据，但只需要值和时间戳。我只想删除其他列，而且我也很好奇如何在将文件组合在一起后执行此类任务。到目前为止，我所拥有的是这样的:

files = glob.glob("../dir/subdir/*.csv")
data = {os.path.basename(fname):pd.read_csv(fname) for fname in files}
for df in data:
     df.drop(columns = ['A', 'D'])

由于一些原因这行不通，但我怎样才能实现我的目标？

Answer 1

假设您想要保留列“B”和“C”。你只是想按照你的最后一句话清理数据，这意味着你只是想完成工作，所以 Python 不是特别需要的，那么这个命令行单行程序将为你创建一个新的 .csv，只需第二个第三列:

awk 'FNR == 1 {next} BEGIN {FS=","} {print $2","$3}' *.csv > new.csv

我假设您最终希望将一个完全串联的文件读入 DataFrame，因此它被设置为从第二行开始读取每个 .csv 文件，因此您必须在创建后替换标题。

如果这必须使用 DataFrames 完成，我很抱歉，我在这里很新。