java - 任何能够处理数据集的基于 DSL 的框架？

Question

我正在寻找一些基于 Java 的解决方案来满足以下需求:

1. 执行简单 DSL 的引擎

2. 允许数据集操作的 DSL。例如:鉴于我需要一些分组操作。我不想用 Java 编写代码。我可以写下类似

   的内容

   maxSalary = max(group(salaries, "amount"));

.. 或者如果组运算符不存在则轻松扩展它。

1. 数学函数应该存在，或者准备扩展

据我所知，我需要的是简单的 ETL。我想 Informatica 或 Pentaho 可以胜任这项工作。另一方面，我试图了解 Spring Batch 和 Apache Camel 是否可以为我做这件事。不幸的是，我没有看到任何适用于 Spring Batch 的 DSL。

那么，您能否指导我使用某种框架或框架类型来满足我的需求？

Answer 1

如果您不坚持正常的 Java 服务器端开发。您可以使用 Apache Pig 来操作大型数据集。 (但是Apache Pig基本上需要Hadoop环境，我推荐大家使用一些Cloud环境，比如EMR。)

您可以在 Pig Latin Basics 中看到类似的语法