wolfram-mathematica - Wolfram Mathematica 中的神经网络包不是并行的？

Question

我刚刚创建了一个非常大的神经网络，尽管是在非常强大的硬件上，想象一下我的震惊和失望，当我意识到 NeuralNetworks 包中的 NeuralFit[] 似乎只使用一个核心，甚至没有发挥到最大能力时。我心碎了。我真的必须从头开始编写整个 NN 实现吗？还是我错过了一些简单的东西？

我的网络将 200 个输入带到 300 个神经元的 2 个隐藏层，以产生 100 个输出。我知道我们在谈论数万亿次计算，但只要我知道我的硬件是弱点 - 可以升级。如果单独放置一段时间，它应该可以很好地处理这种网络的训练(具有 24Gb 2000Mhz CL7 内存的 4Ghz 8 线程机器在 SATA-III 上运行 RAID-0 SSD 驱动器 - 我相当确定)。

想法？建议？预先感谢您的意见。

Answer 1

我是神经网络包的作者。给定输入，很容易并行化神经网络的评估。也就是说，在给定输入(以及所有权重、网络参数)的情况下计算网络的输出。然而，这种评估并不是很耗时，并且对于大多数问题并行化它并不是很有趣。另一方面，网络的训练通常很耗时，不幸的是，不容易并行化。训练可以用不同的算法完成，最好的算法不容易并行化。我的联系信息可以在 Wolfram 网站上的产品主页上找到。非常欢迎改进建议。

如果您关闭建议栏(在首选项下)，该软件包的最后一个版本在版本 9 和 10 中都可以正常工作。原因是该包使用旧的 HelpBrowser 作为文档，并且它与建议栏一起崩溃。

你的乔纳斯