python - Theano 与现有 Python 代码集成

Question

我有一个简单的问题，我希望已经在网上找到一个简单的答案，但我没有。

由于矩阵运算，我有一个与 numpy 一起工作的 python 项目。我想加快代码速度，所以我做了一些分析来找出适合这项工作的工具。原来开销不是Python，而是矩阵运算。因此我认为我应该使用 Theano(特别是考虑到我正在实现机器学习算法，而这正是它的用途)。

我的项目的大部分开销都在一个函数中，我想知道是否有可能用 theano 重写该函数，然后从中取出 numpy 数组并像往常一样继续计算。

这再次只是为了测试我将获得多少速度，而无需 promise 更改大量代码。

谢谢!

编辑:如果是这个函数

def backprop(weights, layerValues, finalLayerErrors, activationFunctions):
  nrLayers = len(weights) + 1
  deDw = []
  deDbias = []
  upperLayerErrors = finalLayerErrors

  for layer in xrange(nrLayers - 1, 0, -1):
    deDz = activationFunctions[layer - 1].derivativeForLinearSum(
                        upperLayerErrors, layerValues[layer])
    upperLayerErrors = np.dot(deDz, weights[layer - 1].T)

    dw = np.einsum('ij,ik->jk', layerValues[layer - 1], deDz)

    dbias = deDz.sum(axis=0)

    # Iterating in decreasing order of layers, so we are required to
    # append the weight derivatives at the front as we go along
    deDw.insert(0, dw)
    deDbias.insert(0, dbias)

return deDw, deDbias

Answer 1

您无需更改所有脚本即可使用 Theano。您可以使用 Theano 重新实现部分代码，它就会起作用。 Theano 默认将 numpy ndarray 作为输入并返回 numpy ndarray 作为输出。因此与 numpy 的集成很容易。

Theano 不实现 einsum。因此，我建议您首先将其替换为调用点，正如帕特里克所说。我多次看到和听到 einsum 在某些情况下比调用 dot 慢。如果速度还不够好，Theano 可以帮助您。如果您只是将点调用移至 Theano，那么当 Theano 和 NumPy 链接到同一个 BLAS 库时，Theano 不会更快。但如果你将更多的计算转移到 Theano 上，它应该会让你的编码速度更快。但它并不完美，与 NumPy 相比，某些情况下没有加速，极少数情况下速度较慢(主要是当输入形状不够大时，如标量)

关于Patrick的回答，你不需要使用Theano的符号梯度来从Theano中受益。但如果你想使用符号梯度，Theano 只能在 Theano 中完成的计算图中计算符号梯度。因此，您需要将该部分完全转换为 Theano。但由于您的代码已经可以工作，这意味着您已经手动实现了 grad.这很好，不会造成任何问题。您可以将梯度的手动实现移至 Theano，而不使用符号梯度。

关于 Patrick 对 GPU 的评论。不要忘记，数据的CPU/GPU传输是GPU上成本最高的操作。很多情况下它可以完全取消GPU加速。因此，不确定仅在 GPU 上执行点操作是否会有帮助。在 Theano 中，我们将权重放在 GPU 上，如果不这样做，我认为您无法从 GPU 中获得速度(无论是 gnumpy/Theano/其他东西)。在 GPU 上仅执行 DOT 的情况下，对于巨大的矩阵仍会提高速度。