c++ - 在 Apache-Flink 中使用 C/C++

Question

我和我的团队正在开发一个使用 Flink 的应用程序。数据将使用计算量大的数值算法进行处理。为了尽可能优化它，我想用 C/C++ 而不是 Java 来编写这个算法。

问题是:是否可以在 Flink 中使用 C/C++ 代码？也许通过将其包装到 Java 库中？

Answer 1

我从未专门测试过这种情况。通常，您始终可以使用来自 Java 的 native 代码 JNI ，Java native 接口(interface)。

我们的想法是让 Java facade 公开您的 native 代码，并在使用 Java(或其他 JVM 语言，如 Scala)中的 Flink 定义的计算图中使用这些方法。您必须让 Java 和 native 库在所有相关节点上都可用才能完成这项工作。如果您有一个 Hadoop 集群，您可以利用 YARN 将文件与您的作业一起发送(文档 here，请参阅 --yarn-ship CLI 选项)。

我建议您逐步测试它，暴露一个非常小的 native 函数。此外，不要低估 Java 在性能方面的能力:通过一些经过深思熟虑的编程并利用 JIT 和其他运行时优化，长时间运行的进程可以享受比具有非托管内存的类似 native 代码更好的性能。

请记住，使用 native 代码当然意味着将代码的可移植性限制在您将为其编译库的平台上。