python - 在Python中将Dataframe写入和读取文件的正确方法

Question

我想用 Python 编写并稍后读取数据帧。

df_final.to_csv(self.get_local_file_path(hash,dataset_name), sep='\t', encoding='utf8')
...
df_final = pd.read_table(self.get_local_file_path(hash,dataset_name), encoding='utf8',index_col=[0,1])

但后来我得到:

sys:1: DtypeWarning: Columns (7,17,28) have mixed types. Specify dtype option on import or set low_memory=False.

我找到了这个question 。在底行中，我应该在读取文件时指定字段类型，因为“low_memory”已被弃用......我发现它非常低效。

是否有一种简单的方法来写入和稍后读取数据帧？我不关心文件的可读性。

Answer 1

您可以腌制您的数据框:

df_final.to_pickle(self.get_local_file_path(hash,dataset_name))

稍后再读:

df_final = pd.read_pickle(self.get_local_file_path(hash,dataset_name))

如果您的数据帧很大并且速度变慢，那么使用 HDF5 格式可能会更幸运:

df_final.to_hdf(self.get_local_file_path(hash,dataset_name))

稍后再读:

df_final = pd.read_hdf(self.get_local_file_path(hash,dataset_name))

您可能需要先安装 PyTables。

这两种方式都存储数据及其类型。因此，这应该可以解决您的问题。