- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
构建和部署Spark应用程序时的常见问题是:java.lang.ClassNotFoundException
object x is not a member of package y
编译错误。java.lang.NoSuchMethodError
如何解决这些问题?
最佳答案
apache spark的类路径是动态构建的(以适应每个应用程序的用户代码),这使得它容易受到此类问题的攻击。@user7337271的答案是正确的,但还有一些问题,这取决于您使用的集群管理器(“master”)。
首先,spark应用程序由这些组件组成(每个组件都是单独的jvm,因此可能在其类路径中包含不同的类):
驱动程序:这是您的应用程序创建SparkSession
(或SparkContext
)并连接到群集管理器以执行实际工作
集群管理器:作为集群的“入口点”,负责为每个应用程序分配执行器。Spark支持几种不同的类型:独立型、纱线型和介观型,我们将在下面介绍这些类型。
执行器:这些是集群节点上的进程,执行实际的工作(运行spark任务)
ApacheSpark的cluster mode overview中的图表描述了它们之间的关系:
现在-哪些类应该位于这些组件中的每个组件中?
这可以用下图来回答:
让我们慢慢分析一下:
spark代码是spark的库。它们应该存在于所有三个组件中,因为它们包括了让火花执行它们之间通信的胶水。顺便说一下,Spark的作者做出了一个设计决定,在所有组件中包含所有组件的代码(例如,在驱动程序中也包含应该只在Executor中运行的代码),以简化这一点,因此Spark的“胖罐子”(在1.6版本中)或“存档”(在2.0版本中,详细信息如下)包含了必要的代码所有组件的de都应可用。
仅驱动程序代码这是用户代码,不包括任何应该在执行器上使用的代码,即在rdd/dataframe/dataset上的任何转换中都不使用的代码。这不一定要从分布式用户代码中分离出来,但也可以。
分布式代码这是用驱动程序代码编译的用户代码,但也必须在执行器上执行-实际转换使用的所有内容都必须包含在这个jar中。
既然我们已经明白了,我们如何让类在每个组件中正确加载,它们应该遵循什么规则?
spark代码:正如前面的应答状态一样,您必须在所有组件中使用相同的scala和spark版本。
1.1在独立模式下,有一个“预先存在的”Spark安装,应用程序(驱动程序)可以连接到该安装。这意味着所有的驱动程序都必须使用主程序和执行程序上运行的相同的spark版本。
1.2在纱线/介子中,每个应用程序可以使用不同的火花版本,但同一应用程序的所有组件必须使用同一个。这意味着,如果使用x版编译和打包驱动程序应用程序,则在启动sparksession时应提供相同的版本(例如,使用yarn时通过spark.yarn.archive
或spark.yarn.jars
参数)。您提供的jars/archive应该包含所有spark依赖项(包括可传递依赖项),当应用程序启动时,集群管理器会将其发送给每个执行器。
驱动程序代码:这完全取决于驱动程序代码可以作为一堆jar或“胖jar”来发布,只要它包含所有spark依赖项+所有用户代码
分布式代码:除了存在于驱动程序中之外,此代码还必须发送到执行器(同样,连同其所有可传递依赖项)。这是使用spark.jars
参数完成的。
总而言之,这里有一个构建和部署spark应用程序的建议方法(在本例中是使用yarn):
使用您的分布式代码创建一个库,将其打包为一个“常规”jar(用一个.pom文件描述其依赖项)和一个“胖jar”(包括其所有可传递的依赖项)。
创建一个驱动程序应用程序,其编译依赖于您的分布式代码库和apache spark(具有特定版本)
将驱动程序应用程序打包到一个fat jar中以部署到驱动程序
启动spark.jars
时,将正确版本的分布式代码作为SparkSession
参数的值传递
将包含下载的spark二进制文件的lib/
文件夹下所有jar的存档文件(例如gzip)的位置传递为spark.yarn.archive
关于java - 解决Apache Spark中的依赖性问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54515863/
在流处理方面,Apache Beam和Apache Kafka之间有什么区别? 我也试图掌握技术和程序上的差异。 请通过您的经验报告来帮助我理解。 最佳答案 Beam是一种API,它以一种统一的方式使
有点n00b的问题。 如果我使用 Apache Ignite 进行消息传递和事件处理,是否还需要使用 Kafka? 与 Ignite 相比,Kafka 基本上会给我哪些(如果有的话)额外功能? 提前致
Apache MetaModel 是一个数据访问框架,它为发现、探索和查询不同类型的数据源提供了一个通用接口(interface)。 Apache Drill 是一种无架构的 SQL 查询引擎,它通过
Tomcat是一个广泛使用的java web服务器,而Apache也是一个web服务器,它们在实际项目使用中有什么不同? 经过一些研究,我有了一个简单的想法,比如, Apache Tomcat Ja
既然简单地使用 Apache 就足以运行许多 Web 应用程序,那么人们何时以及为什么除了 Apache 之外还使用 Tomcat? 最佳答案 Apache Tomcat是一个网络服务器和 Java
我在某个 VPS( friend 的带 cPanel 的 apache 服务器)上有一个帐户,我在那里有一个 public_html 目录。我们有大约 5-6 个网站: /home/myusernam
我目前正在尝试将模块加载到 Apache,使用 cmake 构建。该模块称为 mod_mapcache。它已成功构建并正确安装在/usr/lib/apache2/modules directroy 中
我对 url 中的问号有疑问。 例如:我有 url test.com/controller/action/part_1%3Fpart_2 (其中 %3F 是 url 编码的问号),并使用此重写规则:R
在同一台机器上,Apache 在端口 80 上运行,Tomcat 在端口 8080 上运行。 Apache 包括 html;css;js;文件并调用 tomcat 服务。 基本上 exampledom
Apache 1 和 Apache 2 的分支有什么区别? 使用一种或另一种的优点和缺点? 似乎 Apache 2 的缺点之一是使用大量内存,但也许它处理请求的速度更快? 最有趣的是 Apache 作
实际上,我们正在使用 Apache 网络服务器来托管我们的 REST-API。 脚本是用 Lua 编写的,并使用 mod-lua 映射。 例如来自 httpd.conf 的实际片段: [...] Lu
我在 apache 上的 ubuntu 中有一个虚拟主机,这不是我的主要配置,我有另一个网页作为我的主要网页,所以我想使用虚拟主机在同一个 IP 上设置这个。 urologyexpert.mx 是我的
我使用 Apache camel 已经很长时间了,发现它是满足各种系统集成相关业务需求的绝佳解决方案。但是几年前我遇到了 Apache Nifi 解决方案。经过一番谷歌搜索后,我发现虽然 Nifi 可
由于两者都是一次处理事件的流框架,这两种技术/流框架之间的核心架构差异是什么? 此外,在哪些特定用例中,一个比另一个更合适? 最佳答案 正如您所提到的,两者都是实时内存计算的流式平台。但是当您仔细观察
apache 文件(如 httpd.conf 和虚拟主机)中使用的语言名称是什么,例如 # Ensure that Apache listens on port 80 Listen 80 D
作为我学习过程的一部分,我认为如果我扩展更多关于 apache 的知识会很好。我有几个问题,虽然我知道有些内容可能需要相当冗长的解释,但我希望您能提供一个概述,以便我知道去哪里寻找。 (最好引用 mo
关闭。这个问题是opinion-based .它目前不接受答案。 想改善这个问题吗?更新问题,以便可以通过 editing this post 用事实和引文回答问题. 4 个月前关闭。 Improve
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the he
这个问题在这里已经有了答案: Difference Between Apache Kafka and Camel (Broker vs Integration) (4 个回答) 3年前关闭。 据我所知
我有 2 个使用相同规则的子域,如下所示: RewriteEngine On RewriteCond %{REQUEST_FILENAME} !-f RewriteCond
我是一名优秀的程序员,十分优秀!