ssis - Kafka 与 StreamSets

Question

我正在阅读有关 Kafka 和 StreamSets 的文章，我的理解是

1. Kafka 充当生产者系统和订阅者之间的经纪人。生产者将数据推送到Kafka集群，订阅者从Kafka拉取数据

2. StreamsSets 是一种通过管道将数据从一个源移动到另一个源的技术

现在，以下是我的问题，请帮忙澄清

1. Kafka 和 StreamSets 之间的根本区别是什么？是不是 Kafka 不移动数据，而是 StreamSets 移动数据？

2. 如果 Kafka 不移动数据，那么 Kafka 用来做什么？如果它像 ETL 解决方案一样移动数据，那么它与 SSIS、Informatica 等有何不同？

3. StreamSets 与 SSIS、Informatica 等有何不同？

Answer 1

StreamSets 是一个图形工具，包含允许数据移动的组件，其中恰好包括 Kafka 生产者和消费者，但您不需要使用它们。

它们是互补的，通过使用 Kafka，您可以允许流系统中的背压或让非 StreamSets 生产者/消费者与其他 Kafka 主题进行交互。不，Kafka 不会移动数据(内部复制除外)，而是与代理交互的客户端移动。

我没有使用过 Informatica 或 SSIS，但我确信如果您联系 StreamSets 的某人，他们可以回答他们的比较情况