python - 在 Apache Beam DirectRunner 中使用 KafkaIO 时出错

Question

我正在使用 apache beam DirectRunner 从 kafka 主题加载数据。我的代码如下:

conf={'bootstrap.servers':'localhost:9092'}

with beam.Pipeline() as pipeline:
        (pipeline
        |       ReadFromKafka(consumer_config=conf,topics=['topic1'])
        )

我正在使用以下命令来运行此代码:

python3 topic_to_gcs --runner DirectRunner

出现以下错误:

File "/usr/lib/python3.7/subprocess.py", line 1522, in _execute_child
    raise child_exception_type(errno_num, err_msg, err_filename)
FileNotFoundError: [Errno 2] No such file or directory: 'docker': 'docker'

提前致谢 :)

Answer 1

目前，Apache Beam 使用所谓的外部转换从 Python SDK 中的 Kafka 读取。这实际上意味着，您的 Python 管道将生成一个 Java 容器并从容器内部连接到 Kafka。然后它将数据传回你的 Python 管道(更多关于这个 here )。
如果您可以在运行管道的主机上安装 docker(以及在您计划运行它的所有其他位置，如果您将运行器从 DirectRunner 更改为某个分布式运行器)，那么这将是最好的选择。
否则，您可以在我的回答 here 中了解当前状态。 .