我正在开发一个程序,需要将大量 csv 文件(数千个)加载到数组中。
csv 文件的尺寸为 45x100,我想创建一个尺寸为 nx45x100 的 3-d 数组。目前,我使用 pd.read_csv() 加载每个 csv 文件,然后使用 np.array() 将每个文件转换为数组。然后,我使用 np.array(data_0, data_1,...,data_n) 创建一个 3d 数组,我得到一个具有所需尺寸的 3d 数组。
虽然有效,但是非常乏味。有没有什么方法可以在不单独读取和处理每个 csv 文件的情况下完成此操作?
#this is my current code
import numpy as np
import pandas as pd
from pandas import Series, DataFrame
mBGS5L = pd.read_csv("strain5.csv") #45x100
mBGS8L = pd.read_csv("strain8.csv")
mBGS10L = pd.read_csv("strain10.csv")
mBGS5L_ = np.array(mBGS5L)
mBGS8L_ = np.array(mBGS8L)
mBGS10L_ = np.array(mBGS10L)
mBGS = np.array([mBGS5L_,mBGS8L_,mBGS10L_])
#to which mBGS.shape returns a 3x45x100 array'''
注意:我已经检查了有关将多个 csv 文件加载到 1 个数据帧中的其他 stackoverflow 链接,从中我了解了 glob 来获取我需要的所有 csv 文件的列表。但我的问题是,使用 glob 并连接 csv 文件返回一个列表而不是 3d 数组——我无法将其转换为 numpy 数组,因为它返回错误
from glob import glob
strain = glob("strain*.csv")
df= [pd.read_csv(f) for f in strain]
df_ = np.asarray(df)
#this returns an error: cannot copy sequence with size 45 to array axis with dimension 30
任何帮助将不胜感激。谢谢
首先,您需要将dataframes
转换为mxm数组。引用下面代码
from glob import glob
import numpy as np
strain = glob("strain*.csv")
df = [pd.read_csv(f).values for f in strain]
df_ = np.asarray(df)
我是一名优秀的程序员,十分优秀!