- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我是 Cloudera 的新手,正在尝试将工作负载从运行 Ambari 和 Livy 和 Spark 2.2.x 的 HDP 服务器转移到具有类似设置的 CDH 5 服务器。由于 Livy 不是 Cloudera 的组件,我使用的是他们网站上的 0.5.0-incubating 版本,在与 YARN、Spark 和 HDFS masters 相同的服务器之一上运行它。
长话短说,当我尝试提交给 Livy 时,我收到以下错误消息:
Diagnostics: File file:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jar does not exist
java.io.FileNotFoundException: File file:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:598)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:811)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:588)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:432)
at org.apache.hadoop.yarn.util.FSDownload.copy(FSDownload.java:251)
at org.apache.hadoop.yarn.util.FSDownload.access$000(FSDownload.java:61)
at org.apache.hadoop.yarn.util.FSDownload$2.run(FSDownload.java:364)
at org.apache.hadoop.yarn.util.FSDownload$2.run(FSDownload.java:362)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)
at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:361)
at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:60)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Failing this attempt. Failing the application.
它引用的 jar 是 Livy 安装的一部分,而且显然存在。看起来在这个过程中的某个时刻,Hadoop 正在寻找一个 URL 为 file:/home...
的文件,而不仅仅是 /home...
或 file:///home...
,但我不确定这是否相关,因为这可能是 HDFS 的有效路径。我已经从源代码构建了多个版本的 Livy,修改了启动脚本并对其进行了远程调试,但这个错误似乎发生在 Spark 的某个地方。
这是我的 livy.conf
文件:
# What spark master Livy sessions should use.
livy.spark.master = yarn
# What spark deploy mode Livy sessions should use.
livy.spark.deploy-mode = cluster
livy.file.upload.max.size 300000000
和livy-env.sh
:
export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/etc/hadoop
export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957/lib/spark2
export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop
旧集群使用 Hadoop 2.7.3.2.6.5.0-141 和 Spark 2.2.1。新集群正在运行 Hadoop 2.6.0-cdh5.14.2 和 Spark 2.2.0.cloudera2。使用旧集群的 Livy 发行版以及 Cloudera 自己的 Livy 发行版都给出了相同的基本错误。同样,所有这些东西在以前的 HDP/Ambari 集群上运行得很好。
所有这些 jar 文件都存在于每个节点上的该路径上,我还对 HDFS 中的 jar 进行了尝试——Livy 提取它们,然后为提取的 jar 提供相同的错误消息。我还尝试了一堆具有权限的东西,但似乎都不起作用。例如,我得到:
18/06/09 00:13:12 INFO util.LineBufferedStream: (stdout: ,18/06/09 00:13:11 INFO yarn.Client: Uploading resource hdfs://some-server:8020/user/livy/jars/livy-examples-0.4.0-SNAPSHOT.jar -> file:/home/livy/.spar
kStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar)
来自 Livy 的输出,然后是...
Diagnostics: File file:/home/livy/.sparkStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar does not exist
java.io.FileNotFoundException: File file:/home/livy/.sparkStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:598)
...
来自 YARN 不可避免的失败。
有人有什么想法吗?如果有任何……甚至只是听到李维的替代方案,我会很高兴……
最佳答案
我通过从 Cloudera repo 构建 Livy 解决了这个问题使用字符串 mvn clean package -DskipTests -Dspark-2.2.0.cloudera2 -Dscala-2.10
。此版本已过时,UI 损坏,一些 Scala 测试失败,因此必须跳过它们,而且我没有费心研究指定 2.2.0.cloudera2
的工作方式或原因。我还必须在集群上安装 Hue 及其依赖服务。 Livy 的其他发行版、二进制文件或源代码均无效。
关于java - 使用 Cloudera 5.14 和 Spark2 : Livy can't find its own JAR files 配置 Livy,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50769660/
我对这个错误很困惑: Cannot implicitly convert type 'System.Func [c:\Program Files (x86)\Reference Assemblies\
考虑这段代码: pub trait Hello { fn hello(&self); } impl Hello for Any { fn hello(&self) {
问题很简单。是否可以构造这样一个类型 T,对于它下面的两个变量声明会产生不同的结果? T t1 = {}; T t2{}; 我已经研究 cppreference 和标准一个多小时了,我了解以下内容:
Intellij idea 给我这个错误:“Compare (T, T) in Comparator cannot be applied to (T, T)” 对于以下代码: public class
任何人都可以告诉我 : n\t\t\t\t\n\t\t\t 在以下来自和 dwr 服务的响应中的含义和用途是什么. \r\n\t\t\t \r\n\t\t\t
让 T 成为一个 C++ 类。 下面三个指令在行为上有什么区别吗? T a; T a(); T a = T(); T 为不带参数的构造函数提供了显式定义这一事实是否对问题有任何改变? 后续问题:如果
Rust中的智能指针是什么 智能指针(smart pointers)是一类数据结构,是拥有数据所有权和额外功能的指针。是指针的进一步发展 指针(pointer)是一个包含内存地
比如我有一个 vector vector > v={{true,1},{true,2},{false,3},{false,4},{false,5},{true,6},{false,7},{true,8
我有一个来自 .xls 电子表格的数据框,我打印了 print(df.columns.values) 列,输出包含一个名为:Poll Responses\n\t\t\t\t\t。 我查看了 Excel
This question already has answers here: What are good reasons for choosing invariance in an API like
指针类型作为类型前缀与在类型前加斜杠作为后缀有什么区别。斜线到底是什么意思? 最佳答案 语法 T/~ 和 T/& 基本上已被弃用(我什至不确定编译器是否仍然接受它)。在向新向量方案过渡的初始阶段,[T
我正在尝试找到一种方法来获取模板参数的基类。 考虑以下类: template class Foo { public: Foo(){}; ~Foo(){};
这是一个让我感到困惑的小问题。我不知道如何描述它,所以只看下面的代码: struct B { B() {} B(B&) { std::cout ::value #include
为什么有 T::T(T&) 而 T::T(const T&) 更适合 copy ? (大概是用来实现move语义的???) 原始描述(被melpomene证明是错误的): 在C++11中,支持了一种新
在 Java 7 中使用 eclipse 4.2 并尝试实现 List 接口(interface)的以下方法时,我收到了警告。 public T[] toArray(T[] a) { ret
假设有三个函数: def foo[T](a:T, b:T): T = a def test1 = foo(1, "2") def test2 = foo(List(), ListBuffer()) 虽
我对柯里化(Currying)和非柯里化(Currying)泛型函数之间类型检查的差异有点困惑: scala> def x[T](a: T, b: T) = (a == b) x: [T](a: T,
考虑一个类A,我如何编写一个具有与相同行为的模板 A& pretty(A& x) { /* make x pretty */ return x; } A pretty(A&& x) {
Eclipse 表示由于泛型类型橡皮擦,类型参数不允许使用 instanceof 操作。 我同意在运行时不会保留任何类型信息。但是请考虑以下类的通用声明: class SomeClass{ T
在 C++14 中: 对于任何整数或枚举类型 T 以及对于任何表达式 expr: 有没有区别: struct S { T t { expr }; }; 和 struct S { T t = { exp
我是一名优秀的程序员,十分优秀!