- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我是 ELK 堆栈的新用户。我使用 UWSGI 作为我的服务器。我需要使用 Grok 解析我的 uwsgi 日志,然后分析它们。
这是我的日志格式:-
[pid: 7731|app: 0|req: 357299/357299] ClientIP () {26 vars in 511 bytes} [Sun Mar 1 07:47:32 2015] GET /?file_name=123&start=0&end=30&device_id=abcd&verif_id=xyzsghg => generated 28 bytes in 1 msecs (HTTP/1.0 200) 2 headers in 79 bytes (1 switches on core 0)
%{SYSLOG5424SD} %{IP} () {26 vars in 511 bytes} %{SYSLOG5424SD} GET %{URIPATHPARAM} => generated 28 bytes in 1 msecs (HTTP%{URIPATHPARAM} 200) 2 headers in 79 bytes (1 switches on core 0)
input { stdin { } }
filter {
grok {
match => { "message" => "%{SYSLOG5424SD} %{IP} () {26 vars in 511 bytes} %{SYSLOG5424SD} GET %{URIPATHPARAM} => generated 28 bytes in 1 msecs (HTTP%{URIPATHPARAM} 200) 2 headers in 79 bytes (1 switches on core 0)" }
}
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
output {
stdout { codec => rubydebug }
}
{
"message" => "[pid: 7731|app: 0|req: 357299/357299] ClientIP () {26 vars in 511 bytes} [Sun Mar 1 07:47:32 2015] GET /?file_name=123&start=0&end=30&device_id=abcd&verif_id=xyzsghg => generated 28 bytes in 1 msecs (HTTP/1.0 200) 2 headers in 79 bytes (1 switches on core 0)",
"@version" => "1",
"@timestamp" => "2015-03-01T07:57:02.291Z",
"host" => "cube26-Inspiron-3542",
"tags" => [
[0] "_grokparsefailure"
]
}
query parameters(filename, start,end, deviceid etc)
和
ClientIP
,
Response code
等等。
%{SYSLOG5424SD} %{IP:client_ip} () {%{NUMBER:vars} vars in %{NUMBER:bytes} bytes} %{SYSLOGTIMESTAMP:date} %{WORD:method} %{URIPATHPARAM:request} => generated %{NUMBER:generated_bytes} bytes in {NUMBER:secs} msecs (HTTP/1.0 %{NUMBER:response_code}) %{NUMBER:headers} headers in %{NUMBER:header_bytes} (1 switches on core 0)
\[pid: %{NUMBER:pid}\|app: %{NUMBER:app}\|req: %{NUMBER:req_num1}/%{NUMBER:req_num2}\] %{IP:client_ip} \(\) \{%{NUMBER:vars} vars in %{NUMBER:bytes} bytes\} %{SYSLOG5424SD} %{WORD:method} /\?file_name\=%{NUMBER:file_name}\&start\=%{NUMBER:start}\&end\=%{NUMBER:end} \=\> generated %{NUMBER:generated_bytes} bytes in %{NUMBER:secs} msecs \(HTTP/1.0 %{NUMBER:response_code}\) %{NUMBER:headers} headers in %{NUMBER:header_bytes}
最佳答案
我找到了提取查询参数的解决方案:-
这是我的最终配置:-
对于日志行
[pid: 7731|app: 0|req: 426435/426435] clientIP () {28 vars in 594 bytes} [Mon Mar 2 06:43:08 2015] GET /?file_name=wqvqwv&start=0&end=30&device_id=asdvqw&verif_id=qwevqwr&lang=English&country=in => generated 11018 bytes in 25 msecs (HTTP/1.0 200) 2 headers in 82 bytes (1 switches on core 0)
input { stdin { } }
filter {
grok {
match => { "message" => "\[pid: %{NUMBER}\|app: %{NUMBER}\|req: %{NUMBER}/%{NUMBER}\] %{IP} \(\) \{%{NUMBER} vars in %{NUMBER} bytes\} %{SYSLOG5424SD:DATE} %{WORD} %{URIPATHPARAM} \=\> generated %{NUMBER} bytes in %{NUMBER} msecs \(HTTP/1.0 %{NUMBER}\) %{NUMBER} headers in %{NUMBER}" }
}
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
kv {
field_split => "&? "
include_keys => [ "file_name", "device_id", "lang", "country"]
}
}
output {
stdout { codec => rubydebug }
elasticsearch { host => localhost }
}
关于用于 uwsgi 日志的 Logstash Grok 过滤器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28791393/
我有一个 GROK 模式,我正尝试在 Logstash 中使用它,它在 GROK 调试器中工作 website但不在日志存储中。我尝试了不同的配置但没有成功。我希望有人可以帮助我确定为什么这不起作用。
以下是事件消息的示例: { "timestamp":"2016-03-29T22:35:44.770750-0400", "flow_id":45385792, "in_iface":"eth1",
我有一个像这样的日志字符串: 2018-08-02 12:02:25.904 [http-nio-8080-exec-1] WARN o.s.w.s.m.s.DefaultHandlerExcept
以下是事件消息的示例: { "timestamp":"2016-03-29T22:35:44.770750-0400", "flow_id":45385792, "in_iface":"eth1",
我有一个像这样的日志字符串: 2018-08-02 12:02:25.904 [http-nio-8080-exec-1] WARN o.s.w.s.m.s.DefaultHandlerExcept
我的问题是关于如何使用 Grok 模式。 我知道给定的现有 Grok 模式,我可以使用以下语法将值分配给字段: %{DATESTAMP_RFC822:timestamp} 我也知道我可以创建自己的自定
我正在尝试为 Java 应用程序设置 ELK。 tomcat 日志是使用 log4j 生成的。要编写测试模式,我使用 Grok Debugger .但是在调试器上它总是显示 Compile ERROR
我正在尝试使用某种 grok 模式来使用以下日志记录格式: *Sun 07:05:18.372 INFO [main] [userID] perf - 0ms - select x from y 我
我正在尝试学习如何第一次使用 logstash 的 grok 过滤器捕获日志文件中的不同字段,但无法正确解析它。我正在使用 https://grokdebug.herokuapp.com/来测试我的工
这是我的 grok 模式 2017-09-25 08:58:17,861 p=14774 u=ec2-user | 14774 1506329897.86160:检查 any_errors_fatal
我有一个 200 MB 的日志文件。我将日志文件输入logstash,需要几个小时才能完成工作。 我想知道是否有办法加快速度?也许以并行模式运行它? 最佳答案 您可以看看here关于如何加快速度。 T
在 Logstash 2.3.3 中,grok 过滤器不适用于最后一个字段。 要重现该问题,请创建 test.conf,如下所示: input { file { path => "/Use
我是 logstash 和 grok 的新手,对模式有疑问。我正在尝试为我的 apache 错误日志创建一个 grok 模式。但是我对以下行为有点困惑。 如果我在 http://grokdebug.h
以下是我的日志 # Time: 2017-11-02T07:41:22.631956Z# User@Host: root[root] @ localhost [] Id: 我无法为单词 ro
2012 年 9 月 27 日星期四 15:30:27 BST:- 无效 token $_POST[custom],指示金额、用户 ID 这是来 self 尝试使用 grok 解析 logstash
我有一个类似于以下的输入 2015-12-02T12:39:57.546461+08:00 222.55.201.19 c): start_time="2015-12-02 ...some other
我是 logstash 和 grok 的新手,对模式有疑问。我正在尝试为我的 apache 错误日志创建一个 grok 模式。但是我对以下行为有点困惑。 如果我在 http://grokdebug.h
我有这些日志,我试图使用 grok 从每一行中提取多个信息。但似乎有些匹配没有被考虑在内,尽管它们对我来说似乎很好。 这是一个示例行: "#wtb# GetSP ok. Referer:http://
我有来自 kafka 的数据,我想将它们发送到 ElasticSearch。我有一个这样的带有标签的日志: APPLI_A|PRF|ENV_1|003 我试图用 grok 解析它使用 grok 调试器
几周来我一直在做这件事,但我似乎无法理解这有什么问题。 我试图让所有这些行适应与 grok 的多行匹配,但它只选择最后一行,甚至丢弃行开头的数字。 11:31:03.936 5: Loa
我是一名优秀的程序员,十分优秀!