Python Pandas - 合并 CSV 并添加文件名

Question

我正在尝试将 CSV 文件合并到一个文件夹中来分析它们。另外，我想将每个文件的文件名附加为一列，以便我可以找出哪些数据来自哪个文件。我看过类似的问题，但没有一个对我有用。

这是我正在使用的代码。此文件夹中有 24 个 CSV 文件，因为稍后使用 cat 合并 CSV 文件会很容易，所以即使是告诉我如何在每个文件中附加文件名的方法也是完美的。任何帮助都会很棒。

import pandas as pd
import os
import glob
import csv
path=r'/home/videept/Downloads/A_DeviceMotion_data/A_DeviceMotion_data/dws_1/'
with open('output.csv', 'w', newline='') as f_output:
    csv_output = csv.writer(f_output)

    for filename in glob.glob(os.path.join(path,"*.csv")):
        with open(filename, newline='') as f_input:
            csv_input = csv.reader(f_input)

            for row in csv_input:
                row.insert(0, filename)
                csv_output.writerow(row)

当我这样做时，单元格会无限循环，甚至不会创建新文件。我不确定如何才能看到正在发生的事情的进展，所以任何关于这方面的想法也都很棒。谢谢:)

Answer 1

我会这样做(前提是您使用的是 Python 3.4+):

import pandas as pd
from pathlib import Path

source_files = sorted(Path('path_to_source_directory').glob('*.csv'))

dataframes = []
for file in source_files:
    df = pd.read_csv(file) # additional arguments up to your needs
    df['source'] = file.name
    dataframes.append(df)

df_all = pd.concat(dataframes)

这样，每一行都有一列代表其源文件，以便于过滤和分析。