hadoop - Pentaho 和 Hadoop

Question

如果这个问题看起来很幼稚，我很抱歉，但我是数据工程领域的新手，因为我现在是自学者，但我的问题是 Pentaho 和 Hadoop 等 ETL 产品之间有什么区别？当我用这个而不是那个？或者我可以一起使用它们，怎么样？

谢谢，

Answer 1

ETL 是一种提取数据、转换(连接、丰富、过滤...)数据并将结果加载到另一个数据存储中的工具。好的 ETLS 是可视化的，与数据存储无关并且易于自动化。

Hadoop 是一种分布在集群网络上的数据存储以及用于处理分散数据的软件。数据转换专门用于少数基本操作，这些操作可以针对这种通常大量的数据进行优化，例如(但不仅限于)Map-Reduce。

Pentaho Data Integrator 具有连接到 Hadoop 系统的连接器，这些连接器易于设置和调整。因此最好的策略是将 Hadoop 网络设置为数据存储并通过 PDI 对其进行操作。