linux - 在远程服务器上安装 spark 的情况下在 eclipse 上本地运行 spark 代码

Question

我已经为 scala 配置了 eclipse，并创建了一个 maven 项目，并在 Windows 上编写了一个简单的字数统计 spark 作业。现在我的 spark+hadoop 安装在 linux 服务器上。如何将我的 spark 代码从 eclipse 启动到 spark 集群(在 linux 上)？

任何建议。

Answer 1

其实这个答案并不像你想象的那么简单。

我会做很多假设，首先你使用sbt，其次是你在基于 linux 的计算机上工作，第三是最后一个是你有两个类 在您的项目中，假设 RunMe 和 Globals，最后一个假设是您要在程序内部进行设置。因此，在您的可运行代码中的某个地方，您必须有这样的东西:

object RunMe {
  def main(args: Array[String]) {
    val conf = new SparkConf()
      .setMaster("mesos://master:5050") //If you use Mesos, and if your network resolves the hostname master to its IP.
      .setAppName("my-app")
      .set("spark.executor.memory", "10g")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext()

    //your code comes here
  }
}

您必须遵循的步骤是:

• 编译项目，在它的根目录下，使用:

  $ sbt 程序集

• 将作业发送到主节点，这是有趣的部分(假设您的项目中有下一个结构target/scala/，并且里面有一个文件 .jar，对应编译后的工程)

  $ spark-submit --class RunMe target/scala/app.jar

请注意，因为我假设项目有两个或更多类，所以您必须确定要运行哪个类。此外，我敢打赌，Yarn 和 Mesos 的两种方法都非常相似。