etl - 在 Talend 中加载一组文件的策略

Question

我想知道在 Talend 中解决以下问题的最佳策略:

• 我需要从一组分隔文件中加载数据，这些文件存储在名称类似于(SAMPLE1.DAT、SAMPLE2.DAT、...、SAMPLEX.DAT)的目录中
• 目标将是 MySQL 数据库中的一个表
• 我必须一次加载所有数据，因为完成此任务后我需要处理同一个表中的所有记录

我有点困惑，因为我不知道在 Talend 中是否可行。我看到了 tFileInputDelimited 组件，但没有找到解决它的方法。

谢谢

Answer 1

要从一个目录中读取多个文件，您可以使用 tFileList 组件。它允许您指定目录和文件名模式。目录中与模式匹配的所有文件将被一个接一个地处理。

您需要使用从 tFileList 组件到那些描述您要对每个文件执行的操作的组件的“迭代”链接。在您的情况下，您将从 tFileInputDelimited 组件开始(读取文件)并将其主要输出连接到 tMysqlOutput 组件。默认情况下，MySQL 组件只会将数据附加到现有表中，这样您就可以得到想要的结果。

在 tFileInputDelimited 组件中，您不会使用固定文件名，而是使用由 tFileList 组件为每次迭代设置的可变文件名(可以说是循环变量)。该循环变量的名称可以在工作室的“大纲” View 中看到，通常位于左下角。