apache-spark - 如何在 EC2 Spark 集群上训练深度神经网络(tensorflow)？

Question

我正在使用深度学习对包含 100 个分类的大型数据集进行图像识别。 (与 cifar-100 的大小相比)我现在正在没有 GPU 的单台机器上调整超参数。训练非常慢。我想知道是否有任何现有的方法可以在 EC2 Spark 集群上进行训练？我知道有 SparkNet，但它似乎只支持 Caffe。

Answer 1

正如@Ramon 评论的那样，带有 tensorflow 的 spark 可用于通过广播参数来调整超参数。 See this example from databricks

def map_fun(i):
  import tensorflow as tf
  with tf.Graph().as_default() as g:
    hello = tf.constant('Hello, TensorFlow!', name="hello_constant")
    with tf.Session() as sess:
      return sess.run(hello)

rdd = sc.parallelize(range(10))
rdd.map(map_fun).collect()

输出:

['Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!']