python - 使用 pandas(和 glob？)合并目录中的大量(csv)数据文本文件

Question

我有许多独立的 X、Y(整数)列数据仪器文件。所有数组的维度都相同。每个文件的 X 列相同，Y 列编号不同。如果可能，我想将连续文件的 Y 列连接到第一个文件，并写入一个包含第一个 X 和多个 Y 的新的单个大数组？像这样:

file1=X1 Y1 file2=X1 Y2 file3=X1 Y3... 新文件结果应为:X1 Y1 Y2 Y3...

一直在研究以下方面的变体:

import pandas
data = pandas.read_csv('file1.csv') 
# print(data) returns the 1st file array ok

需要打开并循环连续的文件以将 Y 列连接到 file1。

Answer 1

你可以这样做:

import os
import glob
import pandas as pd

def get_merged_csv(flist, **kwargs):
    return pd.concat([pd.read_csv(f, **kwargs).set_index('X') for f in flist], axis=1).reset_index()

path = 'C:/Users/csvfiles'
fmask = os.path.join(path, '*mask*.csv')

df = get_merged_csv(glob.glob(fmask))

为了命名您的 Y 列，例如 Y1、Y2 等:

cols = ['{0[0]}{0[1]}'.format(t) for t in zip(df.columns[1:], range(1, len(df.columns)))]
df.columns = df.columns.tolist()[:1] + cols

测试数据:

a.csv:

X,Y
1,11
2,12
3,13

b.csv:

X,Y
1,21
2,22
3,23

c.csv:

X,Y
1,31
2,32
3,33

测试:

In [215]: df = get_merged_csv(glob.glob(fmask))

In [216]: df
Out[216]:
   X   Y   Y   Y
0  1  11  21  31
1  2  12  22  32
2  3  13  23  33

In [217]: cols = ['{0[0]}{0[1]}'.format(t) for t in zip(df.columns[1:], range(1, len(df.columns)))]

In [218]: cols
Out[218]: ['Y1', 'Y2', 'Y3']

In [219]: df.columns = df.columns.tolist()[:1] + cols

In [220]: df
Out[220]:
   X  Y1  Y2  Y3
0  1  11  21  31
1  2  12  22  32
2  3  13  23  33