python - 拆分非常大的 Pandas 数据框，替代 Numpy array_split

Question

关于使用 Numpy array_split 方法的行数限制有什么想法吗？

我有一个超过 600 万行的 dataframe，我想将它分成 20 个左右的 block 。

我的尝试遵循以下描述: Split a large pandas dataframe

使用 Numpy 和 array_split 函数，但是作为一个非常大的 dataframe 它会永远持续下去。

我的 dataframe 是 df，它包含 8 列和 660 万行。

df_split = np.array_split(df,20)

关于拆分它的替代方法有什么想法吗？另外，也欢迎提高数据帧性能的提示。

Answer 1

也许这可以通过将数据帧分成 block 来解决您的问题，就像这个例子一样:

import numpy as np
import pandas as pds

df = pds.DataFrame(np.random.rand(14,4), columns=['a', 'b', 'c', 'd'])

def chunker(seq, size):
    return (seq[pos:pos + size] for pos in range(0, len(seq), size))

for i in chunker(df,5):
    df_split = np.array_split(i, 20)
    print(df_split)