eclipse - 从 Eclipse 运行 Spark 应用程序

Question

我正在尝试在 Eclipse 上开发一个 spark 应用程序，然后通过单步调试它。

我下载了 Spark 源代码，并在 Eclipse 中添加了一些 spark 子项目(例如 spark-core)。现在，我正在尝试使用 Eclipse 开发一个 spark 应用程序。我已经在 Eclipse 上安装了 ScalaIDE。我根据 Spark 网站中给出的示例创建了一个简单的应用程序。

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
  }
}

在我的项目中，我将 spark-core 项目添加为依赖项目(右键单击 -> 构建路径 -> 添加项目)。现在，我正在尝试构建我的应用程序并运行它。但是，我的项目显示它有错误，但我没有在 Eclipse 的问题 View 中看到任何错误，也没有看到任何以红色突出显示的行。所以，我不确定是什么问题。我的假设是我需要将外部 jar 添加到我的项目中，但我不确定这些 jar 是什么。该错误是由 val conf = new SparkConf().setAppName("Simple Application") 和后续行引起的。我尝试删除这些行，错误消失了。我将不胜感激任何帮助和指导，谢谢!

Answer 1

您似乎没有使用任何应该消除任何版本控制问题的包/库管理器(例如 sbt、maven)。 自行设置 java、scala、spark 及其所有后续依赖项的正确版本可能具有挑战性。我强烈建议将您的项目更改为 Maven: Convert Existing Eclipse Project to Maven Project

就个人而言，我在 IntelliJ IDEA ( https://confluence.jetbrains.com/display/IntelliJIDEA/Getting+Started+with+SBT ) 上使用 sbt 有很好的经验，它易于设置和维护。