data-warehouse - 了解 ETL 过程

Question

ETL 似乎是一项很常见的任务。我基本上是在读一些 ETL 错误，这些错误是设计师在 http://it.toolbox.com/blogs/infosphere/17-mistakes-that-etl-designers-make-with-very-large-data-19264 上用非常大的数据犯的。

我需要以下几点的一些实际见解

a) 将插入、更新和删除合并到同一个数据流/同一个进程中。这怎么会是个问题？

b) 同时采购多个系统，这取决于异构数据系统。

c) 没有在需要访问的源/查找上生成正确的索引。

d) 相信‘我需要一次性处理所有数据，因为这是最快的方法’

有什么帮助吗？

Answer 1

a) 数据完整性问题

b) 对于较小的数据 block ，数据质量会提高并且故障会减少。

c) 需要更多时间才能完成<

d) 错误的索引会导致更多的时间。最好有基于您正在执行的查询的索引。 即语句的 where 子句中出现的内容

e) 将数据拆分成更小的数据集并对其进行处理将是一个有效的解决方案
您的 BITS-PILANI(WILP) 学生仪式。