python - 为什么我的 google colab session 不断崩溃？

Question

我正在使用 google colab 处理一个包含 400 万行和 29 列的数据集。当我运行语句 sns.heatmap(dataset.isnull()) 时，它会运行一段时间，但一段时间后 session 崩溃并且实例重新启动。这种情况已经发生了很多次，但到目前为止我还没有真正看到输出。可能的原因是什么？数据/计算是否过多？我能做什么？

Answer 1

我不确定是什么原因导致您的特定崩溃，但常见原因是内存不足错误。听起来您正在使用足够大的数据集，这很可能。您可以尝试使用数据集的子集并查看错误是否再次出现。

否则，CoLab 将日志保存在 /var/log/colab-jupyter.log 中。通过打印其内容，您也许能够更深入地了解正在发生的情况。运行:

!cat /var/log/colab-jupyter.log

或者，单独获取消息(更易于阅读):

import json

with open("/var/log/colab-jupyter.log", "r") as fo:
  for line in fo:
    print(json.loads(line)['msg'])