bash - 用于 ETL 过程的 KornShell 或 Bash Shell？

Question

我正在做一个项目，我需要使用 ETL 过程将数据加载到数据仓库中。我有 csv、非结构化和平面文件格式的数据。我正在考虑使用 shell 脚本来执行 ETL 过程。我对 bash shell 和 KornShell (ksh) 知之甚少，但我对 ETL 过程还很陌生。所以我的问题是什么是 ETL 过程的更好选择。我应该使用 Bash Shell 还是 KornShell？

非常感谢具有 ETL 过程和 shell 脚本编写经验的用户的回答。

提前致谢。

Answer 1

通常，我的 ETL 过程使用 SQL 语句进行数据库内转换，因此它们实际上是“ELT”过程。 shell 仅用作移动文件、执行数据加载和提取以及执行 SQL 语句的工具。如果您的 DW 位于功能足够强大的系统上，那么它通常是执行转换工作的最佳位置，除非您打算在 EDW 之外设置一个系统来执行数据转换。

为我所描述的此类 ELT 过程选择 shell 实际上是一项维护工作。当你离开时谁会支持这个？公司是否有很多人知道 bash，但只有一个人知道 KSH？还是 99% 是 .NET 商店？然后我建议在小型 C# 控制台应用程序中编写您的 ETL。当您不使用真正的“ETL”工具时，选择用于执行 ETL 的语言时，应关注这些因素，而不是“最佳”语言。