python - 以 block 加载数据时 Pandas None 类型

Question

问候数据科学家。

我已经编写了这个函数来分块加载我的数据，它工作正常并且它为我提供了数据的形状但是当我尝试将它分配给一个变量以便我能够清理我的数据并继续处理时它表明它是一个无类型

def show(df):
start = time()

c=0
for chuck in pd.read_csv('../input/{}.csv'.format(df), chunksize=50000):
    if c==0:
        df=chuck
        c+=1
    else:
        df=df.append(chuck, ignore_index=True)
        c+=1
print (c)

print('used {:.2f} s'.format(time()-start))

print(df.shape)
df.head()

我的数据原来有 307511 行和 212 列。还有其他数据集，我仍然需要加载数百万行。我的 RAM 无法处理这么多数据，因此我请求帮助

我也尝试过这种加载数据的方式，但我无法获取所有数据，只能获取其中的一部分。我想在合并和拟合数据时使用我的所有数据

df = pd.read_csv('../input/application_train.csv', iterator=True, chunksize=10**6, engine='python')

这行得通，但我没有从中获取所有数据

df = df.get_chunk(300000)

Answer 1

这两种代码都适用于我。我曾经遇到过同样的问题。尽量不要将代码放在函数中，看看它是如何工作的，for 循环本身就可以正常工作。试试这个

start = time()
data = []
for chunk in pd.read_csv('../input/youdataset.csv', chunksize = 50000):
    data.append(chunk)

print(len(data))

df  = pd.concat(data, ignore_index = True)

print('used {:.2f}s'.format(time()-start))
print(df.shape)
df.head()

希望对你有帮助