python - 在具有 16GB RAM 的笔记本电脑上使用 Pandas 进行绘图

Question

我正在 Python jupyter IPython 笔记本中处理 1.7GB 的数据集。我在 .csv 中读取了我正在使用 pd.read_csv 处理的内容，我的 RAM 使用量猛增至约 7GB。

当我尝试从数据集中绘制其中一列的时间序列时，我的 RAM 飙升至近 16GB。我担心我的笔记本电脑的性能，所以我决定中断内核。

我的问题有两个:

• 如果我让单元格运行，情节最终会显示出来吗？或者，它是否无法绘制我的图表，因为它达到了 RAM 限制？
• 我的数据是一个月内逐秒数据的时间序列，其中大部分为零。我是否应该从数据中删除这些零，这样会更容易绘制吗？

Answer 1

1. 它最终会出现。即使它使用超过 16GB，它也会使用页面文件来获取更多虚拟内存。这称为分页。它是现代操作系统内存实现的重要组成部分，使用辅助存储让程序超出可用物理内存的大小。当计算机耗尽 RAM 时，操作系统 (OS) 会将内存页面移至计算机的硬盘，以释放 RAM 用于其他进程。这可以确保操作系统永远不会耗尽内存并崩溃。欲了解更多信息:http://searchservervirtualization.techtarget.com/definition/memory-paging

这取决于您是否需要零。根据他们添加的数据量，绘制或可视化可能会更容易。