- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我在尝试使用 spark streaming,python 运行字数统计示例时遇到错误。
不确定如何进行。下面是我正在运行的命令和错误。
/opt/spark/bin/spark-submit --jars spark-streaming_2.10-2.0.0.jar test_kafka.py broker.txt "localhost:2181:MyTopic"
Error:
Traceback (most recent call last):
File "/home/ubuntu/kafka/libs/test_kafka.py", line 21, in <module>
kvs = KafkaUtils.createDirectStream(ssc, [topic], {"metadata.broker.list": brokers})
File "/opt/spark/python/lib/pyspark.zip/pyspark/streaming/kafka.py", line 122, in createDirectStream
File "/opt/spark/python/lib/pyspark.zip/pyspark/streaming/kafka.py", line 195, in _get_helper
TypeError: 'JavaPackage' object is not callable
最佳答案
您收到的错误来自您正在使用的 jar 包。它与您的 spark/kafka 版本不匹配,它会崩溃。
我刚刚检查了今天最新的 spark (2.4.4) 和最新的 kafka以下包命令有效:
`--packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.0.2`
所以试试下面的命令:
/opt/spark/bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.0.2 test_kafka.py broker.txt "localhost:2181 :我的主题"
问题是如何每次都选择正确的包。包的格式应该是:
groupId:artifactId:version
在上面的例子中:
groupId:始终为 org.apache.spark
artifactId:从 spark 文档中获取最新的。在这种情况下,我选择了:spark-streaming-kafka-0-8_2.11
版本:spark版本。这里我选择了2.0.2。它不是最新的,但它与我正在使用的 spark 版本 2.4.4 具有向后兼容性。
关于python - 类型错误 : 'JavaPackage' object is not callable,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39196815/
javapackager的说明就在 Java SE 部署指南中的示例 2-1/Self-Contained Application Packaging 的上方声明 -deploy 命令中需要一个 ja
我注意到,在不关闭 IDE/命令行的情况下,我无法使用 javapackager 部署 JavaFX 应用程序两次。我想在 Windows 10 计算机上创建应用程序的 native 镜像。 第二次部
我的用例如下。我需要能够从 python 代码中调用 java 方法 来自 py Spark,这似乎很容易 我像这样启动 py Spark ./pyspark --driver-class-path/
我正在使用 javapackager 创建 windows 安装程序,但不知道将许可证文件放在哪里。说明是: licenseFile=路径捆绑商提供或记录的最终用户许可协议(protocol) (EU
我能做到 native package / self-contained app但我不知道如何指定附加信息,例如 vendor name, version number等 我在哪里可以找到这些列表 p
javapackager 和 javafxpackager 似乎无法在我的命令行上识别。即使我安装了最新的 1.8 SDK,它们也不会出现在终端中。 (即使 'echo $JAVA_HOME' 似乎也
我正在使用 javapackager 捆绑一个应用程序,其中主 jar 是一个带有 module-info.class 的模块,但它依赖于许多其他普通的旧 jar,所以我称它们为module-info
像 dataframe.show() 和 sQLContext.read.json 这样的操作工作正常,但大多数函数给出“JavaPackage object is not callable erro
我正在使用 jupyter 实验室运行 spark-nlp 文本分析。目前我只是在运行示例代码: import sparknlp from pyspark.sql import SparkSessio
我正在使用 Netbeans 11,并且创建了一个无法构建/运行的准系统测试 Maven Java 13 项目。 我以前没有使用过 Maven。 在摆弄一些基本依赖项之后,我最终遇到了一个错误,表明在
我在尝试使用 spark streaming,python 运行字数统计示例时遇到错误。 不确定如何进行。下面是我正在运行的命令和错误。 /opt/spark/bin/spark-submit -
我正在使用 javapackager 创建一个 exe 安装程序,并使用命令行捆绑了 jre。 有谁知道如何使用命令行添加图标和自定义安装程序。 这些是我使用的命令: javapackager -de
在 Mac OS X 10.12 下使用 javapackager,我可以生成一个 .pkg 文件。此包在打开时包含一个通用的灰色图标,如下图所示: 如何将通用图标更改为我自己选择的图标?我目前正在使
当我编写 spark sql API hiveContext.sql() from pyspark import SparkConf,SparkContext from pyspark.sql imp
环境: Win10、Oracle JDK 9、Eclipse、jlink、javapackager 上下文:我正在尝试使用 javapackager 生成可执行文件 拥有使用 jlink 制作的 ja
在 macOS 上,命令行选项 -Bmac.CFBundleVersion= documentation 中指定甲骨文 javapackager实用程序不起作用。 我正在使用以下命令来创建磁盘镜像 A
我使用 javapackager 工具从 .jar 文件构建了 .pkg。它运行良好,JRE 以及我的 .jar 都已安装,并且程序正常启动。该程序安装在Application文件夹中(当然是在Mac
我为 macOS 编写了一个基于 Java 的应用程序,该应用程序是使用 Java 8 中的 Oracle 的 javapackager 创建的。它完美运行了几个月,直到发生了一些变化,可能是由于最近
我使用 JDK 13 .但是它没有javapackager (javafxpackager)。我应该从哪里得到它? 对于 JDK 8 javapackager 位于 jdk1.8.0_131\bin
当我使用javapacker command时,当它将库复制到应用程序文件夹时,我收到 NoSuchFileException 。我正在运行以下命令: javapackager -deploy -no
我是一名优秀的程序员,十分优秀!