hadoop - 实时数据集成 Kafka、Hadoop、Avro、HDFS是如何组合在一起的，数据集成有哪些架构

Question

我正在尝试了解实时数据集成的架构以及所有部分如何组合在一起。

我尝试在互联网上进行研究，但找不到好的资源。

谁能解释一下如何使用例如 hadoop kafka 和其他组件进行实时数据集成。

如果可能，您能否提供使用实时数据集成的位置。任何用例。

如果您知道任何资源/教程，如果您分享它们，我将非常高兴

提前致谢

Answer 1

如果我可以谦虚地提供我在这方面所做的两次谈话。

• 从概念上讲，关于实时集成我们可以做些什么以及为什么这样做:https://talks.rmoff.net/said0W/the-changing-face-of-etl-event-driven-architectures-for-data-engineers

• 实践中:https://talks.rmoff.net/pZC6Za/apache-kafka-and-ksql-in-action-lets-build-a-streaming-data-pipeline