python - MemoryError : ipython convnet module. 正常吗？

Question

我正在完成 Stanford's cs231n course 的作业靠我自己。我不是该类(class)的学生。我在their subreddit中问了同样的问题，但似乎没有人在那里。希望能在这里找到一两个退伍军人。

我在 VMWare Player 中使用 32 位 Ubuntu 14.04。我给了它 4GB RAM(但由于 32 位可能没有使用全部)。我的电脑有 16GB RAM，运行 Windows 8.1 Pro。

我正在运行 convnet ipython 模块，并且处于过度拟合小数据的段。这是我收到的错误:

---------------------------------------------------------------------------
MemoryError                               Traceback (most recent call last)
<ipython-input-7-5c1aed72acc3> in <module>()
      6           X_train[:50], y_train[:50], X_val, y_val, model, two_layer_convnet,
      7           reg=0.001, momentum=0.9, learning_rate=0.0001, batch_size=10, num_epochs=10,
----> 8           verbose=True)

.../classifier_trainer.pyc in train(self, X, y, X_val, y_val, model, loss_function, reg, learning_rate, momentum, learning_rate_decay, update, sample_batches, num_epochs, batch_size, acc_frequency, verbose, decay_rate)
    132 
    133         # evaluate val accuracy
--> 134         scores_val = loss_function(X_val, model)
    135         y_pred_val = np.argmax(scores_val, axis=1)
    136         val_acc = np.mean(y_pred_val ==  y_val)

.../convnet.pyc in two_layer_convnet(X, model, y, reg)
     49 
     50   # Compute the forward pass
---> 51   a1, cache1 = conv_relu_pool_forward(X, W1, b1, conv_param, pool_param)
     52   scores, cache2 = affine_forward(a1, W2, b2)
     53 

.../layer_utils.pyc in conv_relu_pool_forward(x, w, b, conv_param, pool_param)
     43   - cache: Object to give to the backward pass
     44   """
---> 45   a, conv_cache = conv_forward_fast(x, w, b, conv_param)
     46   s, relu_cache = relu_forward(a)
     47   out, pool_cache = max_pool_forward_fast(s, pool_param)

.../fast_layers.pyc in conv_forward_fast(x, w, b, conv_param)
     30   # x_cols = im2col_indices(x, w.shape[2], w.shape[3], pad, stride)
     31   x_cols = im2col_cython(x, w.shape[2], w.shape[3], pad, stride)
---> 32   res = w.reshape((w.shape[0], -1)).dot(x_cols) + b.reshape(-1, 1)
     33 
     34   out = res.reshape(w.shape[0], out.shape[2], out.shape[3], x.shape[0])

MemoryError: 

正如预期的那样，Python 已经达到了 1.8GB。因此，内存错误是由于没有 RAM 造成的。

但是我想知道小数据集超过 1.8GB 是否正常？我应该尝试使用 64 位 Ubuntu 在虚拟机中为其提供 8GB RAM 吗？

提前致谢。

Answer 1

如果您运行的是 32 位 ubuntu，如果我没记错的话，可寻址空间为 ~2Gb 应用程序/进程。您的进程只能看到 2Gb。使用带有 4Gb RAM 的 64 位 Ubuntu 应该足够了。阻碍您的是 32 位，而不是虚拟机的内存。