gpt4 book ai didi

apache-spark - Apache Spark 的结构化流与 Google PubSub

转载 作者:行者123 更新时间:2023-12-05 04:00:44 25 4
gpt4 key购买 nike

我正在使用 Spark Dstream 从 Google PubSub 中提取和处理数据。

我正在寻找一种迁移到结构化流式传输但仍在使用 Pub/Sub 的方法。

另外,我应该提到我的消息是在 Pub/Sub 中压缩的 Snappy。

我找到了 this声称不支持将 Pub/Sub 与结构化流一起使用的问题。

有人遇到过这个问题吗?是否可以实现自定义接收器以从 Pub/Sub 读取数据

谢谢

最佳答案

feature request您引用的内容仍然准确:Cloud Pub/Sub 没有偏移量的概念来跟踪您的阅读位置,因此不支持使用 Cloud Pub/Sub 进行结构化流式传输。

关于apache-spark - Apache Spark 的结构化流与 Google PubSub,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55964723/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com