smalltalk - GemStone Smalltalk 的 ETL 是如何完成的？

Question

我想(重新)从 GemStone/S 开始。我已经为关系数据库完成了多个 ETL 转换，但我仍然不清楚如何在 GemStone/S 上完成这项工作。

我想将不同来源的数据加载到 GemStone 中。它可以是文件(csv、excel、xml、纯文本等)或其他数据库，如 SQL Server、Postgres、Oracle 等。

根据我在页面上看到的内容，有 GemConnect它连接到 Oracle 数据库。你如何从其他数据库或文件中做到这一点？是否有通过 ODBC 连接的选项？是否有任何数据泵可以这样做，或者您“只”必须自己一个？

最后我要问的是如何创建暂存区，您可以在其中清理、转换数据，然后将数据加载到 GemStone DB 中。是否有任何示例或文档是如何完成的？

注意:我在 SO 上找到的唯一类似答案- 来自 Stephan Eggermont ，但那很短，没有任何“真实”信息。

Answer 1

暂存

我怀疑大多数环境将“ETL/staging”作为单独步骤的原因是因为这两个端点有些死板，并且没有用于数据操作的良好编程语言。也就是说，如果您有 TXT、CSV、XML、JSON 或 SQL，并且需要另一种格式/模式，则必须有人进行“转换”。但是如果您在 GemStone 中工作，那么您可以在 Smalltalk 中进行转换——不需要单独的步骤。

文件

如果您有文件(TXT、CSV、XML、JSON 等)，请使用 GsFile .事实上，如果另一个端点可以处理文件，那么只需以约定的格式从一个来源导出，然后导入另一个来源(使用 GemStone 进行转换的“繁重工作”)。文件更简单，它们避免了通信层，并且使调试变得微不足道(如果源尚未创建文件，那么这是源的问题；如果它在挂起目录中则尚未处理它(目标问题); 如果它在完成的目录中，那么目的地已经处理了它)。

通过这种方法，您可以在 GemStone 中启动(一个或多个)后台作业来监视目录、打开文件进行读取、处理文件，然后将其移动到另一个目录。除了基本的字符串操作，您只需要使用 GsFile。然后在数据库中创建和更新对象。

ODBC

虽然可以从 GemStone 调用 FFI 到 ODBC 库(或调用数据库的本地库，就像使用 GemConnect 所做的那样)，但这可能会不必要地复杂。相反，我会使用与外部系统更好交互的工具创建另一个层。该层可以写入文本文件(如上所述)，或者通过适当的接口(interface)直接与 GemStone 通信。我倾向于使用 Dolphin 提取数据(良好的 ODBC 支持)，然后直接从 Dolphin 与 GemStone 通信。您可以使用其他客户端 Smalltalk 方言(Pharo、VA 或 VW)或什至使用另一种语言(我有一个学生正在研究 GemStone 的 Python 接口(interface))来做类似的事情。

O/R 映射

在这里，您仍然需要一种方法来获取一种格式的数据并将其转换为另一种格式。这些往往是高度特定于领域的，我们发现只编写 Smalltalk 代码更容易。或者，您可以使用类似 GLORP 的东西在 Pharo、VA、VW 等。

最佳实践

我认为您还没有在 GemStone 中找到 ETL 的任何“最佳实践”，因为它不是我们认为的外部过程或单独步骤。只是如何与文件 (GsFile)、套接字 (GsSocket)、库 (CLibrary) 或客户端 (GCI) 进行通信。从这里我们可以查看内部处理问题，例如多个生产者和一个消费者 (RcQueue)，或一个生产者和多个消费者 (locking)。

因此，并不是 GemStone 应用程序不执行 ETL，它们只是在内部执行，而且情况更加具体。