etl - RapidMiner 中是否有从许多不同格式的数据中提取数据的过程？

Question

我正在努力帮助我的团队简化占用大量时间的数据摄取流程。我们接收多种格式的数据，并且属性排列不同。有没有一种方法可以使用 RapidMiner 创建一个流程:

• 按计划处理放入文件夹中的文件(这一个我想我知道，但我喜欢按计划流程提供的提示对我来说是新的)
• 自动识别输入文件类型并路由到正确的运算符(operator)(例如“读取 CSV”)
• 识别相对较少的属性并相应地排列它们。在某些情况下，属性的命名方式与我们的摄取格式相同，而在其他情况下则不同(例如，phone vs phone # vs Phone )

我们处理的属性主要包括name、id、phone、email、address 。此外，在某些情况下，姓名会分为首名/姓氏，而在某些情况下，他们会使用全名。

我认识到，为如此简单的属性修改文件应该不会那么困难，但我们收到的文件数量和顺序的缺乏使得在没有一点自动化的情况下很难简化流程。我也打算转向标准化的接收格式，但出于一些即将出现的原因，而不是立即的解决方案。

感谢您分享任何提示或指导。

Answer 1

你的问题比较宽泛，很遗憾我不能给你完整的答案。但这里有一些关于我将如何解决你提到的问题的想法:

• 对于一个完整的进程调度 RapidMiner Server 就是你寻找。在这种情况下，您可以定义一个时间表(例如，定期检查新文件)或者甚至定义一个网络服务来触发流程。

• 要根据文件类型选择正确的运算符，您可以使用“循环文件”和宏提取的组合来获得正确的类型并使用“Branch”或“Select Subprocess”切换到不同的输入路径。

• “选择属性”运算符有一些非常强大的选项只选择特定的子集。在你的例子中，我会去正则表达式类似于 [pP]hone.* 以获得不同的拼写变体。在这种情况下也非常有帮助的是“重新订购Attributes”运算符和“Rename by Replacing”创建一个通用的命名模式。

构建更复杂的流程管道时的一般提示是在 sub-processes 中组织不同的任务。并使用“执行过程”运算符。这使得一切都更具可读性和可维护性。也不错error handling策略对于处理不可预见的数据格式很重要。

要从许多高级 RapidMiner 用户那里获得更详尽的答案和提示，我还强烈推荐 RapidMiner community .

我希望这能为您的项目提供一个良好的起点。