python - Jupyter Notebook(仅限)内存错误，相同的代码在传统的 .py 中运行并且可以工作

Question

我有一个深度学习类(class)的作业，他们提供了一个 Jupyter notebook 作为基本代码，问题是在运行数据导入和 reshape 之后，jupyter notebook 通过“内存错误”，经过一些分析后你尝试了在普通的 .py 文件中编译相同的代码，一切运行良好。

问题是我需要(最好)使用 Jupyter notebook 作为开发的基础，因为它对于这类任务更具交互性。

<ipython-input-2-846f80a40ce2> in <module>()
  2 # Load the raw CIFAR-10 data
  3 cifar10_dir = 'datasets\\'
----> 4 X, y = load_CIFAR10(cifar10_dir)

C:\path\data_utils.pyc in load_CIFAR10(ROOT)
     18     f = os.path.join(ROOT, 'cifar10_train.p')
     19     print('Path:  ' + f );
---> 20     Xtr, Ytr = load_CIFAR_batch(f)
     21     return Xtr, Ytr
     22 

C:\path\data_utils.pyc in load_CIFAR_batch(filename)
     10         X = np.array(datadict['data'])
     11         Y = np.array(datadict['labels'])
---> 12         X = X.reshape(-1, 3, 32, 32).transpose(0,2,3,1).astype("float")
     13         return X, Y
     14 

MemoryError: 

错误发生在第 12 行，我知道这是一个消耗内存的分配，但这并不意味着 4 GB RAM 就不够了，当代码在 Jupyter 之外运行没有问题时，这一点得到了证实。

我猜它与 Jupyter 或 Chrome 的内存限制有关，但我不确定，也不知道如何解决。

顺便说一句:

• 我有一台配备 4GB RAM 的 Windows 10 笔记本电脑
• 和 Chrome 版本 57.0.2987.133(64 位)

Answer 1

这个问题我只晚了一年零两个月。关于原因的技术答案在这里得到了很好的解释:https://superuser.com/questions/372881/is-there-a-technical-reason-why-32-bit-windows-is-limited-to-4gb-of-ram

这也暗示了为什么 conda 解决方案有效。

但对于一个懒惰的工程师来说，无需更改的解决方法是，关闭 Chrome 选项卡并不是绝对必要的，然后重新启动内核，以便它重新开始。

Kernel > Restart (& Run All)