java - Apache Spark 实现

Question

我尝试了很多方法来找到使用 struts2 框架在 java 的 Web 应用程序中实现 apache Spark 的最佳解决方案。

我几乎没有机器可供司机和 worker 使用。

我有一个 Web 应用程序，它执行大量数据库操作，我希望它由 Spark 使用 hdfs 来完成。

我能够在本地的单个独立 java 项目上运行 Spark，但我想将其用作集群。

我在网络上阅读了很多可用的线程和信息，但我无法找到在集群上实现它的方法，以便我的应用程序所需的任何大量处理都将由 Spark 完成。

我无法使用像cloudera或amazon服务这样的付费服务...

Answer 1

这里是有关在主站和从站中安装 Spark 的分步指南。内容相当全面:

http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/

如果成功，您应该能够在主服务器上看到一个 Spark-ui，它将显示整个集群。诚然，设置是一个漫长的过程，我自己也经历过这个过程，所以如果您有任何具体问题，请随时提问。

使用spark-submit完成后启动应用程序的脚本:

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

确保提供 masters url 以在集群模式下运行您的应用程序，而不是本地 [*] 等。