apache-flink - Apache Apex 与 Apache Flink

Question

由于两者都是一次处理事件的流框架，这两种技术/流框架之间的核心架构差异是什么？

此外，在哪些特定用例中，一个比另一个更合适？

Answer 1

正如您所提到的，两者都是实时内存计算的流式平台。但是当您仔细观察时，会有一些架构上的差异。

Apex 是 yarn 原生架构，它充分利用 yarn 进行调度、安全和 Multi-Tenancy ，而 Flink 与 yarn 集成。 Apex 可以使用 yarn 在运算符(operator)(容器)级别进行资源分配。

分区:Apex 支持多种复杂的流分区方案，还允许控制运算符(operator)位置和流位置。 Flink 支持简单的哈希分区和自定义分区。

Apex 允许动态更改拓扑结构，而无需关闭应用程序。 Apex 允许在运行时更新应用程序，因此您可以添加和删除运算符、更新运算符的属性或在运行时自动扩展应用程序。 Apache Flink 不支持任何这些功能。

Buffer Server:运营商之间有一个叫做buffer server的消息总线。订阅者可以连接到缓冲服务器并从特定偏移量中获取数据。这是窗口感知的，只要没有订阅者需要它就会保存数据。

容错:Apex具有增量恢复模式，故障时只能重启部分拓扑，无需回源，flink中回源。

Apex 有高级 api 和低级 api。 Flink 只有高级 api。

Apex 有一个名为 Apache Malhar 的库，它拥有大量经过良好测试的连接器和处理操作符，可以轻松重用。

最后，Apex 更专注于生产大数据应用程序，因此具有许多有助于轻松开发和维护应用程序的功能。

注意:我是 Apache Apex 的提交者，所以我可能听起来偏向于 Apex :)