python - 如何显着减少数据集(比如 .csv)的大小以在 Pandas 中进行分析？

Question

假设我们有 1GB 的数据集(比如 .csv)要分析，但我们无法快速运行，因为延迟太大而无法一次又一次地运行，如何才能使数据具有足够的可扩展性以进行分析。

Answer 1

很多次我遇到这个问题并通过制作数据集的数据帧并通过从数据帧输出创建新数据集(比如.csv)得到了一个简单的解决方案，最重要的是创建新数据集几乎 1/8 数据集实际大小。下面是它如何工作的示例。

import pandas as pd
df=pd.DataFrame()
df=pd.read_csv('a1.csv')

现在，在对数据进行一些小操作后(如果需要)，您可以输出数据并获得非常小的 .csv 文件来分析数据。

df.to_csv('a2.csv')

如果您有其他方法可以使用 Pandas 处理更大的数据集，请纠正我。