hadoop - 使用hadoop进行日志分析以发现错误情况和频繁的重复事务

Question

我有一个业务场景，我想要我的应用程序服务器日志，并且想要完成以下任务-

找出在日志中捕获的错误场景，以查找[在日志中]错误代码，引起的异常，时间。

某些用户完成的

重复事务可能违反了安全性。

当以上两种情况发生时，

会通知管理员。

我可以使用一些具有批处理功能的多线程基本Java应用程序来做到这一点，但我想使用大数据技术来做到这一点，并且还希望对应用程序行为也具有一些图形表示。

有人可以建议我使用最好的技术来实现这一快速而可扩展的功能吗？以及如果可能的话该怎么做的架构？

如果有人对此提供帮助，那就太好了

Answer 1

您是否考虑过实现大数据解决方案？我有类似的要求。我的数据源是weblogic域应用程序日志。这是我的方法。
1.使用水槽或其他流媒体工具将weblogic应用程序错误日志流式传输到hadoop中。
2.将数据加载到Spark Dataframe中。
3.编写Spark SQL查询以分析错误数据

我们有一个数据库错误日志表。我将使用它作为另一个数据源来关联Web逻辑DB异常。 Weblogic错误数据是CSV格式，由两个管道符号(“||”)分隔。但是，输入数据的问题是
如下所示，最后一列数据分布到多行。 Spark将下一行的最后一列的连续视为“新行”，因此加载失败。感谢是否有人对如何处理此问题有任何想法。

||| 20160704 || 01:58:32,294 || 396c0a8e2470e7a21467611910768 || com.seic.dataservices.impl.InstrumentSearchDoImpl || [[ACTIVE] ExecuteThread:'9'for queue:0).... INSTRUMENT_ID(1004915)PRICE_DATE(01 -JUL-16)在表TABEL_NAME中不存在。找不到价格数据。.ORA-06512:位于“Qxx_xxx.ERROR_PKG”，第502行ORA-06512:位于“Qxx_xxx.IM_PRICING”，第6221行ORA-06512:位于第1行)