python - MXNET 与 Theano 体验

Question

我想做一些分布式计算。使用 GPU 进行机器学习？只是想知道是否有人有使用 MXNET 的经验(perf. vs Theano)

引用资料 http://www.cs.cmu.edu/~muli/file/mxnet-learning-sys.pdf

谢谢

Answer 1

我在 mxnet 和 Theano 方面都有很多经验(通过 lasagne 和 keras)

基准测试总是有偏见的，所以我不会对此发表评论，只是要注意所有框架都非常快。以下是可以帮助您做出决定的几件事:

1. Theano 与 mxnet 相比就像汇编与 python 相比。 Theano 具有构建机器学习模型的低级原语，并且其本身不定义任何层或优化器，您通常将它与一些深度学习库一起使用，例如 Lasagne 或 Keras，而 mxnet 是更高级别。因此票价比较将是 mxnet 与 Keras，而不是 mxnet 与 Theano。
2. mxnet 是一个较新的库，其中的某些内容还没有完善，在线资源比 Theano 少得多。
3. Theano(以及 Lasagne 和 Keras)在首次将模型运行到 C++ 和 Cuda 时将它们编译，这非常慢。对于非常复杂的模型，例如展开的 LSTM，编译可能需要几分钟时间。与模型训练所需的时间(几小时到几周)相比，它通常非常短，但在您制作原型(prototype)时却非常烦人。

总的来说，如果你在这两个框架之间做出选择，我建议 Theano + Keras 用于除了循环或非常深的网络之外的所有东西，否则 Theano 中的编译会杀死你。

另请查看 TensorFlow。它(主观上)比 mxnet 慢，但更成熟并且在线资源更多。