Django、Haystack、Solr、MongoDB 架构决策

Question

我正在构建一个日志查看实用程序，它将处理 TB 日志中的实时搜索。我决定将日志存储在 Solr 中并将其用作搜索引擎。我将在我的项目中使用 Django 作为框架。为了在 Django 中使用 Solr，我看到有 haystack。现在我的架构会是这样的。

             Store  Index         Search             Show
Log Stream ----------------> Solr --------> Haystack ------> Django

我的日志是普通的linux服务器日志，如网络、操作、错误等。Syslog正在发送日志。我将允许基于所有日志行进行过滤。我将允许按列排序，例如:ip 列、日期列等。

示例日志:

Dec 11 13:24:03 2012 [firewall] R0 SRC=192.168.9.11 DST=192.168.11.29 LEN=83 TOS=0x00 PREC=0x00 TTL=64 ID=0 DF PROTO=UDP SPT=36904 DPT=161 LEN=63 

我想问是使用 MongoDB 作为日志中的存储、过滤和搜索更好还是 Solr 会做得更好。我也想到了 Elasticsearch。在这种情况下，您的选择是什么。

提前致谢。

Answer 1

为什么要重新发明轮子？有Logstash ，具有惊人的界面:Kibana .您可以使用 rsyslog 来提供它。但是，如果您真的想要/需要重新实现日志服务器，Logstash 使用 ElasticSearch。我会去的。