apache-spark - AWS EMR Spark : Error: Cannot load main class from JAR-6ren

apache-spark - AWS EMR Spark : Error: Cannot load main class from JAR

转载作者：行者123 更新时间：2023-12-02 01:04:50

24

4

我正在尝试使用 AWS 控制台向 AWS EMR 集群提交 Spark 作业。但它失败了:
Cannot load main class from JAR .当我将主类指定为 --class 时，作业运行成功在 Arguments AWS EMR 控制台中的选项-> 添加步骤。

在本地机器上，当没有指定如下主类时，这项工作似乎工作得很好:

 ./spark-submit /home/astro/spark-programs/SpotEMR/MyJob.jar

我已使用运行配置将主类设置为 jar。避免将主类传递为 --class 的主要原因是，我必须使用 EMRAcivity 在 AWS Datapipeline 中运行此作业。在 AWS Datapipeline 中，目前无法为正在提交的作业指定主类。

任何帮助将不胜感激。

最佳答案

实际上，您可以使用 EMRActivity 和 AWS Datapipeline 传递作业的主类。

看
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emractivity.html推出 EMRActivity使用 step .

也
https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-submit-step.html使用 EMR 提交 Spark 作业 step与一个主类。

该步骤如下所示:

command-runner.jar,spark-submit,--class,org.apache.spark.examples.SparkPi

关于apache-spark - AWS EMR Spark : Error: Cannot load main class from JAR，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48407769/

24

4

0

文章推荐： R - 按键查找连续值的最大数量

文章推荐： java - OnItemClickListener 无法与 AutoCompleteTextView 一起使用

css - .class > .class 和 .class .class 的区别
我只想知道它们之间的区别: .class .class{ font-size:14px; } 对比: .class > .class{ font-size:14px; } 是一样的东西吗？最佳答案
css - ".class"和 ".class, .class .class"之间的区别？
PrimeFaces 文档的以下摘录使标题中描述的两个选择器之间似乎存在差异: .ui-widget, .ui-widget .ui-widget { font-size: 90% !imp
javascript - 是否可以选择类(class) & 类(class) & 类(class)，而不仅仅是类(class)或类(class)或类(class)？
我正在尝试选择特定值。但我遇到了一个问题。我有两个元素，一个有 X Y，另一个有 X Y Z。当选择 X Y Z 时，我也收到 X Y 的值...有没有办法让它寻找 X AND Y AND Z 而
css - 选择器 ".class.class"和 ".class .class"有什么区别？
.class.class 和 .class .class 有什么区别？最佳答案 .class .class 匹配类 .class 的任何元素，这些元素是类 .class< 的另一个元素的后代/. .
java - .class == .class 对比 .class.toString() 对比 .class.toString()
我正在研究 Classname.class 和 Classname.class.toString() 并发现了一些不寻常的东西。 .class 在同一个类上运行时似乎等同于 .class。尽管 .cl
class - 达特:我无法在另一个类(class)中实例化一个类(class)
我试图在Dart中扩展列表并在此列表中使用另一个类。这是我的示例，其中注释出了问题: import "Radio.dart"; // extends ListBase { List ra
class-design - 我应该如何将大而臃肿的类(class)分成较小的类(class)？
我有一个很大的“经理”类，我认为它做得太多了，但我不确定如何将它划分为更多逻辑单元。一般来说类主要由以下方法组成: class FooBarManager{ GetFooEntities();
PHP Class 找到 Class 文件但找不到文件中的 Class
我在一个文件中定义了一个抽象父类(super class)，在另一个文件中定义了一个子类。我需要父类(super class)文件和堆栈跟踪报告来找到一个包含它。但是，当它到达“extends”行时
c++ - 在template class T1, class T2>中，是什么意思？
我在 A. Alexenderscu 的现代 C++ 设计中找到了一些模板示例作者使用以下行的地方 template class CheckingPolicy // class SmartPt
java - 面向对象设计: class inherit class that contains field of class that inherit another class
看一下这段代码: public static class A { public void doA() { } } public static class B extends A {
html - 在类(class)内部设置类(class)样式，但不要在同一个类(class)的外部设置类(class)样式
我有两个具有 .body 类的 div，但是，一个位于另一个具有 .box 类的 div 中 - 如下所示: 我只想为 .box 内部的 .body 设置样式...但我在下面所
c++ - 为什么要编译 class::class::class::static Class Member()(在 C++ 中)？
我一定是遗漏了 C++ 规范中的某些内容，因为我无法解释为什么以下代码可以成功编译: class MyClass { static void fun(); }; int main() { MyClas
python - 名称间距 : How to set class variable of inner class based on class variable of outer class?
我正在尝试在 python 中“模拟”命名空间。我使用内部和外部类层次结构来创建我的命名空间。例如，您希望将文件(如资源)的路径保存在一个位置。我试过这样的事情: src = #path to sou
crystal-lang - Crystal : Class+ is not a class, 这是一个 Class+
在试验 online crystal compiler 时(这太棒了)，我遇到了一个我似乎无法找到解释的错误: class Person class Current < self end
class - `Class of `类型声明的含义是什么？
在查看我的一段代码时，我陷入了如下的一条语句。 TMyObjectClass = TMyObject 类；我有点困惑，不知道这句话是什么意思。由于 TMyObjectClass 在该语句上方没有声明
class - Dart中的重复类(class)
我正在编写一个简单的应用程序，以学习一些基本的Dart编程，但无法弄清楚其结构和包含的内容-我得到了一个重复的类Point 首先，我有一个叫做MouseTrack的主类。它将初始化列表并产生循环。 #
java - Serializable.class 怎么不能从 Class.class 分配？
在 org.springframework.core.SerializableTypeWrapper (版本 5.2.3)，第 112 行有以下代码: if (GraalDetector.in
javascript - 将鼠标悬停在一个类(class)上会影响页面上同一类(class)的所有其他类(class)
我希望将鼠标悬停在子导航中的列表项上，以激活页面上该类别中所有项的类(不仅仅是父元素或同级元素)。有任何想法吗？这是我的意思的一个例子: img.BLUE {border:1px solid #FF
java - 检查类(class)是否是类(class)的子类(class)
我正在通过 ClassLoader 加载类: Class clazz = urlClassLoader.loadClass(name.substring(0, name.length() - 6).r
c++ - 当返回值是class或class或class等时如何使用enable_if？
以下简化的类在从 get() 返回值时执行不同的操作，具体取决于该类是被赋予 double 值还是数组作为模板参数: #include "array" #include "type_traits" t

首页

博学

6Ren·AI

商城

apache-spark - AWS EMR Spark : Error: Cannot load main class from JAR