python - 为什么 Pandas 和 R 之间数据帧的内存使用量有如此大的差异？

Question

我正在处理来自 https://opendata.rdw.nl/Voertuigen/Open-Data-RDW-Gekentekende_voertuigen_brandstof/8ys7-d773 的数据(使用“导出器”按钮下载 CSV 文件)。
当我使用 read.csv() 将数据导入 R 时它需要 3.75 GB 的内存，但是当我使用 pd.read_csv() 将它导入到 Pandas 中时它占用 6.6 GB 的内存。
为什么这个差别这么大？
我使用以下代码来确定 R 中数据帧的内存使用情况:

library(pryr) 
object_size(df)

和 python :

df.info(memory_usage="deep")

Answer 1

我发现该链接非常有用，并认为值得从评论和总结中脱颖而出:
Reducing Pandas memory usage #1: lossless compression

仅加载感兴趣的列 usecols

df = pd.read_csv('voters.csv', usecols=['First Name', 'Last Name'])

使用较小的 dtype 缩小数字列

int64 : (默认) -9223372036854775808 至 9223372036854775807

int16 :-32768 到 32767

int8 :-128 到 127

df = pd.read_csv('voters.csv', dtype={'Ward Number': 'int8'})

使用 dtype category 收缩分类数据

df = pd.read_csv('voters.csv', dtype={'Party Affiliation': 'category'})

大部分转换 nan数据到 dtype Sparse

sparse_str_series = series.astype('Sparse[str]')
sparse_int16_series = series.astype('Sparse[int16]')