python - 从具有日期索引的多个 csv 文件创建 pandas DataFrame

Question

我有多个包含测量数据的 csv 文件，我需要将它们合并到一个以日期/时间为索引的 Pandas DataFrame 中。我试过使用 pd.concat，但是，这只会将 csv 文件加在一起，并不能正确地“排序”它们。

示例文件 1:

    NAME;DATE;VALUE;UNIT
    SO.DA.TT.401.3;01-01-2015 00:00:00;14,9;°C
    SO.DA.TT.401.3;01-01-2015 00:10:00;14,9;°C

示例文件 2:

    NAME;DATE;VALUE;UNIT
    SO.DA.TT.401.3;16-06-2014 20:50:00;51,9;°C
    SO.DA.TT.401.3;16-06-2014 21:00:00;51,8;°C

如何导入文件，使它们按索引和名称排序到一个 DataFrame 中？？

Answer 1

您需要使用返回文件名的 glob 进行列表理解，然后使用参数 index_col、parse_dates 将第二列设置为 DatetimeIndex 和参数 decimal 用于将 VALUE 列转换为数字。

最后concat DataFrame 列表，如有必要 sort_index :

files = glob.glob('files/*.csv')
#second column convert to datetimeindex
dfs = [pd.read_csv(fp, sep=';',index_col=[1], parse_dates=[1], decimal=',') for fp in files]
df = pd.concat(dfs).sort_index()
print (df)

                               NAME  VALUE UNIT
DATE                                           
2014-06-16 20:50:00  SO.DA.TT.401.3   51.9   °C
2014-06-16 21:00:00  SO.DA.TT.401.3   51.8   °C
2015-01-01 00:00:00  SO.DA.TT.401.3   14.9   °C
2015-01-01 00:10:00  SO.DA.TT.401.3   14.9   °C