个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
27
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章spark之Standalone模式部署配置详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
spark运行模式 。
Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的.
1.local(本地模式)：常用于本地开发测试，本地还分为local单线程和local-cluster多线程,
2.standalone(集群模式)：典型的Mater/slave模式，不过也能看出Master是有单点故障的；Spark支持ZooKeeper来实现 HA 。
3.on yarn(集群模式)： 运行在 yarn 资源管理器框架之上，由 yarn 负责资源管理，Spark 负责任务调度和计算 。
4.on mesos(集群模式)： 运行在 mesos 资源管理器框架之上，由 mesos 负责资源管理，Spark 负责任务调度和计算 。
5.on cloud(集群模式)：比如 AWS 的 EC2，使用这个模式能很方便的访问 Amazon的 S3;Spark 支持多种分布式存储系统：HDFS 和 S3 。
Spark Standalone集群部署 。
准备工作 。
1.这里我下载的是Spark的编译版本，否则需要事先自行编译 。
2.Spark需要Hadoop的HDFS作为持久化层，所以在安装Spark之前需要安装Hadoop，这里Hadoop的安装就不介绍了，给出一个教程hadoop 单机安装配置教程 。
3.实现创建hadoop用户，Hadoop、Spark等程序都在该用户下进行安装 。
4.ssh无密码登录，Spark集群中各节点的通信需要通过ssh协议进行，这需要事先进行配置。通过在hadoop用户的.ssh目录下将其他用户的id_rsa.pub公钥文件内容拷贝的本机的authorized_keys文件中，即可事先无登录通信的功能 。
5.Java环境的安装，同时将JAVA_HOME、CLASSPATH等环境变量放到主目录的.bashrc，执行source .bashrc使之生效 。
部署配置 。
这里配置工作需要以下几个步骤:
1.解压Spark二进制压缩包 2.配置conf/spark-env.sh文件 3.配置conf/slave文件 。
下面具体说明一下:
配置Spark的运行环境，将spark-env.sh.template模板文件复制成spark-env.sh，然后填写相应需要的配置内容:
|
1
2
3
4
5
|
export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORDER_INSTANCES=1
export SPARK_WORKER_MEMORY=3g
|
其他选项内容请参照下面的选项说明:
|
1
2
3
4
5
6
7
8
9
10
11
|
# Options for the daemons used in the standalone deploy mode:
# - SPARK_MASTER_IP, to bind the master to a different IP address or hostname
# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master
# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y")
# - SPARK_WORKER_CORES, to set the number of cores to use on this machine
# - SPARK_WORKER_MEMORY, to set how much total memory workers have to give executors (e.g. 1000m, 2g)
# - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker
# - SPARK_WORKER_INSTANCES, to set the number of worker processes per node
# - SPARK_WORKER_DIR, to set the working directory of worker processes
# - SPARK_WORKER_OPTS, to set config properties only for the worker (e.g. "-Dx=y")
# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. "-Dx=y")
|
conf/slave文件用户分布式节点的配置，这里只需要在slave文件中写入该节点的主机名即可 。
将以上内容都配置好了，将这个spark目录拷贝到各个节点scp -r spark hadoop@hadoop2:~ 。
接下来就可以启动集群了，在Spark目录中执行sbin/start-all.sh，然后可以通过netstat -nat命令查看端口7077的进程，还可以通过浏览器访问hadoop1:8080了解集群的概况 。
Spark Client部署 。
Spark Client的作用是，事先搭建起Spark集群，然后再物理机上部署客户端，然后通过该客户端提交任务给Spark集群。 由于上面介绍了Standalone分布式集群是如何搭建的，这里只需将集群上的spark文件夹拷贝过来.
最简单的Spark客户端访问集群的方式就是通过Spark shell的方式：bin/spark-shell --master spark://hadoop1:7077这样就可以访问集群了.
这样在浏览器的Spark集群界面上就可以看到Running Applications一栏中有Spark shell的应用在执行.
Spark Standalone伪分布式部署 。
伪分布式是在一台机器上进行部署来模拟分布式的集群，这里部署的过程和Standalone集群的部署是类似的，事前的工作都是一样的，这里只是在配置文件中做相应的修改就可以了.
这里还是配置这两个文件:
配置conf/spark-env.sh文件 配置conf/slave文件 。
修改spark-env.sh文件，修改master的ip，这里主机名和用户ip分别在/etc/hostname和/etc/hosts文件中进行配置 。
|
1
2
3
4
5
|
export SPARK_MASTER_IP=jason
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORDER_INSTANCES=1
export SPARK_WORKER_MEMORY=3g
|
slave文件中，填写自己的主机名，比如我的主机名jason 。
总结 。
以上就是本文关于spark之Standalone模式部署配置详解的全部内容，希望对大家有所帮助。感谢各位对我网站的支持！ 。
原文链接：http://www.jianshu.com/p/9d96fdc79fcb 。
最后此篇关于spark之Standalone模式部署配置详解的文章就讲到这里了,如果你想了解更多关于spark之Standalone模式部署配置详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
27
4
0
对此感到疯狂，真的缺少一些东西。 我有webpack 4.6.0，webpack-cli ^ 2.1.2，所以是最新的。 在文档（https://webpack.js.org/concepts/mod
object Host "os.google.com" { import "windows" address = "linux.google.com" groups = ["linux"] } obj
每当我安装我的应用程序时，我都可以将数据库从 Assets 文件夹复制到 /data/data/packagename/databases/ .到此为止，应用程序工作得很好。 但 10 或 15 秒后
我在 cc 模式缓冲区中使用 hideshow.el 来折叠我不查看的文件部分。 如果能够在 XML 文档中做到这一点就好了。我使用 emacs 22.2.1 和内置的 sgml-mode 进行 xm
已结束。此问题不符合 Stack Overflow guidelines .它目前不接受答案。 我们不允许提出有关书籍、工具、软件库等方面的建议的问题。您可以编辑问题，以便用事实和引用来回答它。 关闭
根据java: public Scanner useDelimiter(String pattern) Sets this scanner's delimiting pattern to a patt
我读过一些关于 PRG 模式以及它如何防止用户重新提交表单的文章。比如this post有一张不错的图: 我能理解为什么在收到 2xx 后用户刷新页面时不会发生表单提交。但我仍然想知道: (1) 如果
看看下面的图片，您可能会清楚地看到这一点。 那么如何在带有其他一些 View 的简单屏幕中实现没有任何弹出/对话框/模式的微调器日期选择器？ 我在整个网络上进行了谷歌搜索，但没有找到与之相关的任何合适
我不知道该怎么做，我一直遇到问题。 以下是代码: rows = int(input()) for i in range(1,rows): for j in range(1,i+1):
我想为重写创建一个正则表达式。 将所有请求重写为 index.php(不需要匹配)，它不是以/api 开头，或者不是以('.html'，或'.js'或'.css'或'.png'结束) 我的例子还是这样
MVC模式代表 Model-View-Controller（模型-视图-控制器） 模式 MVC模式用于应用程序的分层开发 Model（模型） - 模型代表一个存取数据的对象或 JAVA PO
我想为组织模式创建一个 RDF 模式世界。您可能知道，组织模式文档基于层次结构大纲，其中标题是主要的分组实体。 * March auxiliary :PROPERTIES: :HLEVEL: 1 :E
我正在编写一个可以从文件中读取 JSON 数据的软件。该文件包含“person”——一个值为对象数组的对象。我打算使用 JSON 模式验证库来验证内容，而不是自己编写代码。符合代表以下数据的 JSON
假设我有 4 张 table 人 公司 团体 和 账单 现在bills/persons和bills/companys和bills/groups之间是多对多的关系。 我看到了 4 种可能的 sql 模式
假设您有这样的文档: doc1: id:1 text: ... references: Journal1, 2013, pag 123 references: Journal2, 2014,
我有这个架构。它检查评论，目前工作正常。 var schema = { id: '', type: 'object', additionalProperties: false, pro
这可能很简单，但有人可以解释为什么以下模式匹配不明智吗？它说其他规则，例如1, 0, _ 永远不会匹配。 let matchTest(n : int) = let ran = new Rand
我有以下选择序列作为 XML 模式的一部分。理想情况下，我想要一个序列: 来自 my:namespace 的元素必须严格解析。 来自任何其他命名空间的元素，不包括 ##targetNamespace和
我希望编写一个 json 模式来涵盖这个(简化的)示例 { "errorMessage": "", "nbRunningQueries": 0, "isError": Fals
首先，我是 f# 的新手，所以也许答案很明显，但我没有看到。所以我有一些带有 id 和值的元组。我知道我正在寻找的 id，我想从我传入的三个元组中选择正确的元组。我打算用两个 match 语句来做到这
我是一名优秀的程序员,十分优秀！