apache-spark - 获取 : Error importing Spark Modules : No module named 'pyspark.streaming.kafka'

Question

我需要将 pyspark 脚本创建的日志推送到 kafka。我正在做 POC，所以在 Windows 机器上使用 Kafka 二进制文件。我的版本是 - kafka - 2.4.0、spark - 3.0 和 python - 3.8.1。我正在使用 pycharm 编辑器。

import sys
import logging
from datetime import datetime

try:
    from pyspark import SparkContext
    from pyspark.streaming import StreamingContext
    from pyspark.streaming.kafka import KafkaUtils

except ImportError as e:
    print("Error importing Spark Modules :", e)
    sys.exit(1)

获取错误

Error importing Spark Modules : No module named 'pyspark.streaming.kafka'

我在这里缺少什么？缺少任何库？ pyspark 和 spark streaming 工作正常。如果有人可以在这里提供一些指导，我将不胜感激。

Answer 1

从 Spark 2.4 开始，Spark Streaming 已被弃用。

您应该通过 pyspark.sql 模块使用结构化流媒体