sql - ETL 管道的数据整合

Question

我目前正计划将一些数据源移动到一个地方进行后验分析。

目前我有任何数据源(数据库)，例如:

• MSSQL
• MySQL
• mongodb
• Postgres

Cassandra 将用于大数据管道中的分析。将任何源迁移到 Cassandra 集群的最佳方法是什么？

Answer 1

我强烈建议在此用例中使用 NiFi。我可以立即概述的一些好处。

• 内置“处理器”可用于从所有列出的数据源读取数据并写入 Cassandra。
• 非常高的吞吐量和低延迟。
• 无需编写大量代码即可快速开发数据采集管道。
• 如果需要，能够在项目后期非常轻松地执行“更改数据捕获”。
• 提供高度并发的模型，开发人员无需担心并发的典型复杂性。
• 本质上是异步的，即使在处理和流量波动时也能实现非常高的吞吐量和自然缓冲
• 资源受限的连接使背压和压力释放等关键功能变得非常自然和直观。
• 数据进入和退出系统的点以及数据流经的方式都很好理解并易于跟踪
• 最重要的是，开源。

可以引用Apache NiFi homepage获取更多信息。

希望对您有所帮助!