Python + Beam + Flink

Question

我一直在尝试让 Apache Beam 可移植性框架与 Python 和 Apache Flink 一起工作，但我似乎找不到一套完整的说明来让环境正常工作。是否有包含使简单的 Python 管道正常工作的先决条件和步骤的完整列表的引用资料？

Answer 1

总体而言，对于本地可移植运行者 (ULR)，see the wiki , 从那里引述:

运行 Python-SDK 管道:

1. 将容器编译为本地构建:./gradlew :beam-sdks-python-container:docker
2. 启动 ULR 作业服务器，例如:./gradlew :beam-runners-reference-job-server:run -PlogLevel=debug -PvendorLogLevel=warning 。有关详细信息，请参阅上面链接中的 Java 部分。3 正确设置python环境。更多详情 can be found here .
3. 使用以下命令运行管道(在文件夹 sdk/python 下)，

例子:

python -m apache_beam.examples.wordcount\
  --input=gs://dataflow-samples/shakespeare/kinglear.txt \
  --output=/tmp/output \
  --runner=PortableRunner \
  --job_endpoint=localhost:8099 \
  --experiments beam_fn_api

对于 Flink，您需要使用不同的作业服务器:./gradlew beam-runners-flink_2.11-job-server:runShadow。主机:端口是 localhost:8099,

相关邮件讨论:one , two .

可能值得看一些代码:one , two .