- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
设置可以读取 AWS s3 文件的 Spark 集群失败。我使用的软件如下:
from pyspark.sql import SparkSession, SQLContext
from pyspark.sql.types import *
from pyspark.sql.functions import *
import sys
spark = (SparkSession.builder
.appName("AuthorsAges")
.appName('SparkCassandraApp')
.getOrCreate())
spark._jsc.hadoopConfiguration().set("fs.s3a.access.key", "access-key")
spark._jsc.hadoopConfiguration().set("fs.s3a.secret.key", "secret-key")
spark._jsc.hadoopConfiguration().set("fs.s3a.impl","org.apache.hadoop.fs.s3a.S3AFileSystem")
spark._jsc.hadoopConfiguration().set("com.amazonaws.services.s3.enableV4", "true")
spark._jsc.hadoopConfiguration().set("fs.s3a.aws.credentials.provider","org.apache.hadoop.fs.s3a.BasicAWSCredentialsProvider")
spark._jsc.hadoopConfiguration().set("fs.s3a.endpoint", "")
input_file='s3a://spark-test-data/Fire_Department_Calls_for_Service.csv'
file_schema = StructType([StructField("Call_Number",StringType(),True),
StructField("Unit_ID",StringType(),True),
StructField("Incident_Number",StringType(),True),
...
...
# Read file into a Spark DataFrame
input_df = (spark.read.format("csv") \
.option("header", "true") \
.schema(file_schema) \
.load(input_file))
代码在开始执行 spark.read.format 时失败。似乎找不到类。 java.lang.NoClassDefFoundError: com.amazonaws.services.s3.model.MultiObjectDeleteException
File "<stdin>", line 1, in <module>
File "/usr/local/spark/spark-3.0.1-bin-hadoop3.2/python/pyspark/sql/readwriter.py", line 178, in load
return self._df(self._jreader.load(path))
File "/usr/local/spark/spark-3.0.1-bin-hadoop3.2/python/lib/py4j-0.10.9-src.zip/py4j/java_gateway.py", line 1304, in __call__
File "/usr/local/spark/spark-3.0.1-bin-hadoop3.2/python/pyspark/sql/utils.py", line 128, in deco
return f(*a, **kw)
File "/usr/local/spark/spark-3.0.1-bin-hadoop3.2/python/lib/py4j-0.10.9-src.zip/py4j/protocol.py", line 326, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o51.load.
: java.lang.NoClassDefFoundError: com/amazonaws/services/s3/model/MultiObjectDeleteException
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:348)
at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:2532)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2497)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2593)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:3269)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3301)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:361)
at org.apache.spark.sql.execution.streaming.FileStreamSink$.hasMetadata(FileStreamSink.scala:46)
at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:366)
at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:297)
at org.apache.spark.sql.DataFrameReader.$anonfun$load$2(DataFrameReader.scala:286)
at scala.Option.getOrElse(Option.scala:189)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:286)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:232)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
at py4j.Gateway.invoke(Gateway.java:282)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: com.amazonaws.services.s3.model.MultiObjectDeleteException
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
我一直在尝试为上述 jars 和 python 找到正确的组合,但我找不到正确的组合。我收到了各种 NoClassDefFoundError 所以我决定使用我上面列出的所有 jars 和 python 的最新版本,但仍然没有成功。
最佳答案
Hadoop 3.2 是针对 1.11.563 构建的;将特定版本的完整阴影 sdk 粘贴到您的类路径“aws-java-sdk-bundle”中,一切都应该没问题。
SDK 过去一直很“挑剔”……升级总是会带来惊喜。对于好奇 Qualifying an AWS SDK update .可能是时候有人再做一次了。
关于python - Pyspark S3 错误 : java. lang.NoClassDefFoundError: com/amazonaws/services/s3/model/MultiObjectDeleteException,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64563127/
我正在使用 django,我在 s3 中存储了诸如 imgs 之类的东西(为此我使用的是 boto),但最近我收到了这个错误: 'foo.bar.com.s3.amazonaws.com' doesn
https://gist.github.com/meoooh/896b66e0fc5c9bfd5716fc1864a7c68b 如果我有两个 iam 角色。 但我不知道区别 最佳答案 ECS 服务调度
我们使用预签名的 s3 url 来提供对存储在 s3 中的图像的网络访问。 我们用来生成预签名 url 的 java 代码类似于下面 String accessKey = ...; String se
我正在尝试通过 pycharm 在本地模式下从 spark 读取存储在 S3 存储桶中的 json 文件。但我收到以下错误消息: "py4j.protocol.Py4JJavaError: An er
我正在尝试使用 创建一个 Spring Boot 应用程序DynamoDB 数据库,在此之后 tutorial . 添加项目依赖后,maven好像找不到 com.amazonaws 依赖,这会导致亚马
我正在使用 AmazonAWS 服务器来运行我的应用程序。要启动我正在使用的应用程序: RACK_BASE_URI=/project bundle exec rackup -D 要停止我正在使用的应用
我正在尝试在我的 Android 应用程序中使用 Amazon AWS SDK。该应用程序已使用 C2Call SDK。该应用程序正在运行,但只要我添加 AWS gradle 库,它就会开始给我多个
我正在尝试使用 JDBC 连接到 amazon athena。由于我在 Maven 上没有找到 AthenaDriver 存储库,因此我在我的 github 上自己创建了它。 。基本上我正在做的是这样
我正在 Eclipse 中设置基于 Android 的 Amazon AWS SimpleDB 客户端(刚开始)。我在线上遇到错误: import com.amazonaws.services.sim
我在将 amazonaws 导入我的 gradle 时遇到问题,非常感谢任何帮助。谢谢! 问题: 我正在尝试将“com.amazonaws.auth.*”导入到我的 build.gradle 中,但是
本文整理了Java中com.amazonaws.ml.mms.archive.ZipUtils类的一些代码示例,展示了ZipUtils类的具体用法。这些代码示例主要来源于Github/Stackove
将 document.domain 设置为 superdomain 以允许跨子域调用是一种非常常见的做法。它曾经工作到 firefox 23,但我在升级到 firefox 24 后遇到了这个问题。 当
使用 Eclipse Mars。我已经通过帮助中的安装软件添加了 aws java sdk 1.11.123。现在,当我运行 Tomcat Server 7 时,出现此错误: 2017 年 5 月 2
这可能是一个非常简单的问题,但我已经坚持了几个小时...... 我正在尝试将亚马逊云集成添加到我的项目中,但我似乎无法让项目识别 jar 文件。我目前只是想实例化一个 AmazonS3 客户端: Am
当EMR机器尝试运行包含boto3初始化的步骤时,有时会出现以下错误: ValueError: Invalid endpoint: https://s3..amazonaws.com 当我尝试安装新机
我正在尝试从我的 java 应用程序访问我的 s3 存储桶,尝试实现此功能 https://docs.aws.amazon.com/sdk-for-java/v1/developer-guide/ex
我试图理解一个问题 reported by a user against one of my open source projects .当他们查询 checkip.amazonaws.com他们有时
我正在尝试遵循此存储库中的 SQS 示例 https://github.com/jonyfs/spring-boot-jms-sqs 。我已将 Spring boot 升级到 2.1.0-RELEAS
尝试使用 Amazon FWS 出站 api 时,无法从中创建订单。出现未知异常。我发现 fws 端点主机不工作。有人可以帮助我使用 fws api 创建订单吗? com.amazonaws.
我有/aws 文件夹,其中包含 aws jar 和我的主程序 Aws.class aws 也是一个包: spectjrt.jar aspectjwe
我是一名优秀的程序员,十分优秀!