gpt4 book ai didi

hadoop - 使用hadoop进行日志分析以发现错误情况和频繁的重复事务

转载 作者:行者123 更新时间:2023-12-02 21:35:22 24 4
gpt4 key购买 nike

我有一个业务场景,我想要我的应用程序服务器日志,并且想要完成以下任务-

  • 找出在日志中捕获的错误场景,以查找[在日志中]错误代码,引起的异常,时间。
  • 某些用户完成的
  • 重复事务可能违反了安全性。
  • 当以上两种情况发生时,
  • 会通知管理员。

  • 我可以使用一些具有批处理功能的多线程基本Java应用程序来做到这一点,但我想使用大数据技术来做到这一点,并且还希望对应用程序行为也具有一些图形表示。

    有人可以建议我使用最好的技术来实现这一快速而可扩展的功能吗?以及如果可能的话该怎么做的架构?

    如果有人对此提供帮助,那就太好了

    最佳答案

    您是否考虑过实现大数据解决方案?我有类似的要求。我的数据源是weblogic域应用程序日志。这是我的方法。
    1.使用水槽或其他流媒体工具将weblogic应用程序错误日志流式传输到hadoop中。
    2.将数据加载到Spark Dataframe中。
    3.编写Spark SQL查询以分析错误数据

    我们有一个数据库错误日志表。我将使用它作为另一个数据源来关联Web逻辑DB异常。 Weblogic错误数据是CSV格式,由两个管道符号(“||”)分隔。但是,输入数据的问题是
    如下所示,最后一列数据分布到多行。 Spark将下一行的最后一列的连续视为“新行”,因此加载失败。感谢是否有人对如何处理此问题有任何想法。

    ||| 20160704 || 01:58:32,294 || 396c0a8e2470e7a21467611910768 || com.seic.dataservices.impl.InstrumentSearchDoImpl || [[ACTIVE] ExecuteThread:'9'for queue:0).... INSTRUMENT_ID(1004915)PRICE_DATE(01 -JUL-16)在表TABEL_NAME中不存在。找不到价格数据。.ORA-06512:位于“Qxx_xxx.ERROR_PKG”,第502行ORA-06512:位于“Qxx_xxx.IM_PRICING”,第6221行ORA-06512:位于第1行)

    关于hadoop - 使用hadoop进行日志分析以发现错误情况和频繁的重复事务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32721341/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com