python - 为什么 Jupyter Notebook 突然变慢这么多？

Question

我正在 Jupyter Notebook 上处理客户和购买数据。我很舒服地在上面编写和执行代码，但突然间，它变慢了，甚至要花很长时间才能执行一个简单的代码，比如 print('A')。最糟糕的是它没有向我显示任何错误，所以我完全不知道 Jupyter Notebook 或我的代码出了什么问题。

原始数据有点大。我合并了两个数据集，分别有424699行22列和4308392行39列。

The versions:
Python → 3.7.4
Jupyter Notebook → 6.0.0
windows 10 pro

我只是想提高 Jupyter Notebook 上的执行速度。

Answer 1

可能您的内存使用率很高，然后 jupyter notebook 变慢了，因为它会进入您的硬盘。风险还在于它可能很快就会崩溃。

尝试清除您不再需要的所有数据。如果合并后不需要数据集，请将其删除。 How to delete multiple pandas (python) dataframes from memory to save RAM?

a, b, c = pd.DataFrame(), pd.DataFrame(), pd.DataFrame()
lst = [a, b, c]
del a, b, c # dfs still in list
del lst     # memory release now

在此线程中，您可以了解到如何在 Python 中跟踪您的内存和 CPU 使用情况: How to get current CPU and RAM usage in Python?

#!/usr/bin/env python
import psutil
# gives a single float value
psutil.cpu_percent()
# gives an object with many fields
psutil.virtual_memory()
# you can convert that object to a dictionary 
dict(psutil.virtual_memory()._asdict())

这里还概述了不同数据类型根据您的系统使用的内存量: In-memory size of a Python structure