java-native-interface - 数据流中的 JNI

Question

我需要在我的 Dataflow 管道中使用 JNI。 JNI 使用 C++ 库，该库对其他系统库有大量外部依赖。当工作人员运行使用 C++ 库的 DoFn 时，确保库位于操作系统中应位于的位置的最佳方法是什么？

我发现DataflowPipelineOptions.setWorkerHarnessContainerImage可能允许我从 Google Container Registry 指定自定义 docker 镜像，我可能会在其上安装一堆库，但文档没有说明更多。在安装的包、入口点等方面对 docker 镜像有什么要求吗？

Answer 1

Apache Beam 最近发布了一个 example从 Dataflow 工作器调用子流程。解决方案 downloads在 DoFn 的 @Setup method 中动态生成二进制文件然后 executes管道处理的每条记录的二进制文件。该解决方案还处理 collecting过程的输出并将故障传播到管道。