java - 用于面向平面文件的处理代理的开源框架

Question

有没有人有一个好的框架可以推荐来处理处理的各个阶段面向文件的事务。我们的场景很简单 - 我们接收文件，验证它，如果出现问题，我们中止并生成报告。如果文件良好，则进入下一阶段。在某些阶段，一些有效数据可以被提取并进一步处理，一些无效数据将被保留并报告错误。

有人可能会说 ESB 可以用来做到这一点，但我确实在寻找比 shell 脚本和 cron 作业更加自动化的东西。

有人有一个好的开源框架可以推荐用于这些文件监视、移动和作业触发任务吗？

Answer 1

规模非常小

incron (基于 inotify 的 cron)并将每个作业作为单个脚本。

非常简单，允许您将文件放入指定目录，作业将自动提交给脚本。

但这确实需要您自己实现日志记录和文件改组。它还要求您实现一个(简单的)框架来识别记录/提交成功或错误时所需的作业。

/var/processing/incoming/job1/ IN_CLOSE_WRITE /usr/local/bin/job1.bin $@/$#

小型/中型

Celery和共享存储*。

设置 celery 的初始投资是值得的，您可以获得错误报告和可靠的处理框架。

小型/中型

Delayed Job和共享存储*。

像 celery ，但特定于 ruby 。有neat gui .

大规模(仅供娱乐)

Luigi和 Hadoop

Luigi 用于处理，Hadoop 用于存储和提供作业数据。

共享存储*:NFS 将是跨节点共享文件的绝对最简单的方式，您将文件提交到存储解决方案，并在提交到关联框架的作业中引用该文件。

全面披露:我为 Spotify 工作。