gpt4 book ai didi

apache-spark - 我可以使用 spark 2.3.0 和 pyspark 从 Kafka 进行流处理吗?

转载 作者:行者123 更新时间:2023-12-04 05:17:30 24 4
gpt4 key购买 nike

我将使用 pyspark 进行流处理并使用 Kafka 作为数据源。

我看到 Spark Python API 不支持 Kafka 0.10 连接器。

我可以在 Spark 2.3.0 中使用 Kafka 0.8 连接器,不管它是否已弃用?

最佳答案

它已被弃用,但未删除。你可以使用它。

但是,您可能对 Structured Streaming 感兴趣,它在 Python 中支持 Kafka 0.10 - 链接 here .这是 Spark 中新的 Streaming API,它将取代 DStreams

关于apache-spark - 我可以使用 spark 2.3.0 和 pyspark 从 Kafka 进行流处理吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49068313/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com