numpy - 使用 scikit 执行优化时内核死掉

Question

我正在使用 scikit 对机器学习问题进行一些优化，处理 75 mb 文件，该文件有 42k 行和 784 列，其中包含数字。使用 jupyter 笔记本工作。

但是当我运行代码时内核死掉了。使用终端也是如此。

有什么办法可以解决这个问题吗？

def 火车(自身，X，Y):

   def train(self, X, Y):

    self.X = X
    self.Y = Y

    self.J = []

    params0 = self.N.getParams()

    options = {'maxiter':1, 'disp': True}

    _res = optimize.minimize(self.costFunctionWrapper, params0, jac=True,
                             method='BFGS', args = (X, Y),
                             options=options, callback = self.callbackF)
    self.N.setParams(_res.x)
    self.optimizationResults = _res

Answer 1

我遇到了同样的问题，我的研究告诉我这是内存中断。

stackoverflow and github 上有很多人建议使用 .py 脚本而不是 jupyter 笔记本，但有时这根本没有帮助。尽量谨慎对待您使用的相对于系统功能的内存。