gpt4 book ai didi

google-cloud-platform - 使用 Dataproc 将 Google Pub/Sub 与 Flink Streaming 结合使用的正确方法是什么?

转载 作者:行者123 更新时间:2023-12-04 17:20:14 25 4
gpt4 key购买 nike

我试图找出在 Dataproc 上运行 Apache Flink 并使用 Google Pub/Sub 作为源/接收器的正确方法。当我创建 Dataproc 集群时,应用 flink initialization action 后到最近的图片 1.4 ,将安装Flink 1.6.4。

问题是flink-connector-gcp-pubsub仅从 Flink 1.9.0 版本开始可用。

所以我的问题是将所有这些一起使用的正确方法是什么?我应该使用最新的 Flink 构建自己的 gce 镜像吗?有没有已经存在的?

最佳答案

正如你所说的 flink-connector-gcp-pubusub仅从 Flink 1.9.0 可用。所以你有两个选择:

  • 要么自己实现连接器
  • 基于 flink initialization actions 构建您自己的图像

  • 我不建议实现连接器,因为它是一项复杂的任务,需要对 Flink 有深入的了解,而以 Flink 1.6.4 为例,构建自己的图像应该相对容易

    关于google-cloud-platform - 使用 Dataproc 将 Google Pub/Sub 与 Flink Streaming 结合使用的正确方法是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57984834/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com