elasticsearch - 监视文件系统中新文件并将其发送到Elasticsearch的方法

Question

谢谢阅读!。我有以下问题。

我有一个文件系统，定期将新文件放入其中。

/年/月/日/xxxxxxxx.csv

我需要监视文件系统中的新文件

我需要将它们转换为JSON

我需要将它们运送到Elasticsearch。

我想知道什么是最可靠的方法。

我一直在查看logstash，但不确定文件系统监视位的可靠性如何。此外，文件服务器实际上是Windows计算机。

另外，我真的想要一个傻瓜式但非常简单的解决方案，并且没有太多的 Activity 部件。

是否有专门用于文件系统monitorig的简单库，具有将给定文件格式转换为JSON并将其批量导入到Elasticsearch的简单方法？

感谢您的任何建议。

Answer 1

Filebeat可能会有所帮助。然后，您将流发送到logstash并应用CSV过滤器。

Fscrawler确实可以执行此监视，但仅适用于JSON文件或PDF / oOo / Office等类似文档。