- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
以下是我的Nginx日志格式
log_format timed_combined '$http_x_forwarded_for - $remote_user [$time_local] ' '"$request" $status $body_bytes_sent ' '"$http_referer" "$http_user_agent" ' '$request_time $upstream_response_time $pipe';
以下为Nginx 日志入口(供引用)
- - test.user [26/May/2017:21:54:26 +0000] "POST /elasticsearch/_msearch HTTP/1.1" 200 263 "https://myserver.com/app/kibana" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36" 0.020 0.008 .
以下是logstash grok模式
NGUSERNAME [a-zA-Z\.\@\-\+_%]+
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:clientip} - - \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} %{NUMBER:request_time} %{NUMBER:upstream_time}
在 logstash 日志中发现错误
"status"=>400, "error"=>{"type"=>"mapper_parsing_exception", "reason"=>"failed to parse [timestamp]", "caused_by"=>{"type"=>"illegal_argument_exception", "reason"=>"Invalid format: \"26/May/2017:19:28:14 -0400\" is malformed at \"/May/2017:19:28:14 -0400\"
Issue: - Nginx logs are not getting grokked.
Requirement: - Timestamp should be filtered into a particular field.
我的配置有什么问题?如何修复此错误?
最佳答案
这里是 nginx access.log 和 error.log 文件的模式。
filter {
############################# NGINX ##############################
if [event][module] == "nginx" {
########## access.log ##########
if [fileset][name] == "access" {
grok {
match => { "message" => ["%{IPORHOST:ip} - %{DATA:user_name} \[%{HTTPDATE:time}\] \"%{WORD:http_method} %{DATA:url} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:referrer}\" \"%{DATA:agent}\""] }
remove_field => "message"
}
date {
match => ["time", "dd/MMM/YYYY:HH:mm:ss Z"]
target => "@timestamp"
remove_field => "time"
}
useragent {
source => "agent"
target => "user_agent"
remove_field => "agent"
}
geoip {
source => "ip"
target => "geoip"
}
}
########## error.log ##########
else if [fileset][name] == "error" {
grok {
match => { "message" => ["%{DATA:time} \[%{DATA:log_level}\] %{NUMBER:pid}#%{NUMBER:tid}: (\*%{NUMBER:connection_id} )?%{GREEDYDATA:messageTmp}"] }
remove_field => "message"
}
date {
match => ["time", "YYYY/MM/dd HH:mm:ss"]
target => "@timestamp"
remove_field => "time"
}
mutate {
rename => {"messageTmp" => "message"}
}
}
grok {
remove_field => "[event]"
}
mutate {
add_field => {"serviceName" => "nginx"}
}
}
同样适用于 tomcat:https://gist.github.com/petrov9/4740c61459a5dcedcef2f27c7c2900fd
关于用于 logstash 的 Nginx grok 模式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44211469/
我有一个 GROK 模式,我正尝试在 Logstash 中使用它,它在 GROK 调试器中工作 website但不在日志存储中。我尝试了不同的配置但没有成功。我希望有人可以帮助我确定为什么这不起作用。
以下是事件消息的示例: { "timestamp":"2016-03-29T22:35:44.770750-0400", "flow_id":45385792, "in_iface":"eth1",
我有一个像这样的日志字符串: 2018-08-02 12:02:25.904 [http-nio-8080-exec-1] WARN o.s.w.s.m.s.DefaultHandlerExcept
以下是事件消息的示例: { "timestamp":"2016-03-29T22:35:44.770750-0400", "flow_id":45385792, "in_iface":"eth1",
我有一个像这样的日志字符串: 2018-08-02 12:02:25.904 [http-nio-8080-exec-1] WARN o.s.w.s.m.s.DefaultHandlerExcept
我的问题是关于如何使用 Grok 模式。 我知道给定的现有 Grok 模式,我可以使用以下语法将值分配给字段: %{DATESTAMP_RFC822:timestamp} 我也知道我可以创建自己的自定
我正在尝试为 Java 应用程序设置 ELK。 tomcat 日志是使用 log4j 生成的。要编写测试模式,我使用 Grok Debugger .但是在调试器上它总是显示 Compile ERROR
我正在尝试使用某种 grok 模式来使用以下日志记录格式: *Sun 07:05:18.372 INFO [main] [userID] perf - 0ms - select x from y 我
我正在尝试学习如何第一次使用 logstash 的 grok 过滤器捕获日志文件中的不同字段,但无法正确解析它。我正在使用 https://grokdebug.herokuapp.com/来测试我的工
这是我的 grok 模式 2017-09-25 08:58:17,861 p=14774 u=ec2-user | 14774 1506329897.86160:检查 any_errors_fatal
我有一个 200 MB 的日志文件。我将日志文件输入logstash,需要几个小时才能完成工作。 我想知道是否有办法加快速度?也许以并行模式运行它? 最佳答案 您可以看看here关于如何加快速度。 T
在 Logstash 2.3.3 中,grok 过滤器不适用于最后一个字段。 要重现该问题,请创建 test.conf,如下所示: input { file { path => "/Use
我是 logstash 和 grok 的新手,对模式有疑问。我正在尝试为我的 apache 错误日志创建一个 grok 模式。但是我对以下行为有点困惑。 如果我在 http://grokdebug.h
以下是我的日志 # Time: 2017-11-02T07:41:22.631956Z# User@Host: root[root] @ localhost [] Id: 我无法为单词 ro
2012 年 9 月 27 日星期四 15:30:27 BST:- 无效 token $_POST[custom],指示金额、用户 ID 这是来 self 尝试使用 grok 解析 logstash
我有一个类似于以下的输入 2015-12-02T12:39:57.546461+08:00 222.55.201.19 c): start_time="2015-12-02 ...some other
我是 logstash 和 grok 的新手,对模式有疑问。我正在尝试为我的 apache 错误日志创建一个 grok 模式。但是我对以下行为有点困惑。 如果我在 http://grokdebug.h
我有这些日志,我试图使用 grok 从每一行中提取多个信息。但似乎有些匹配没有被考虑在内,尽管它们对我来说似乎很好。 这是一个示例行: "#wtb# GetSP ok. Referer:http://
我有来自 kafka 的数据,我想将它们发送到 ElasticSearch。我有一个这样的带有标签的日志: APPLI_A|PRF|ENV_1|003 我试图用 grok 解析它使用 grok 调试器
几周来我一直在做这件事,但我似乎无法理解这有什么问题。 我试图让所有这些行适应与 grok 的多行匹配,但它只选择最后一行,甚至丢弃行开头的数字。 11:31:03.936 5: Loa
我是一名优秀的程序员,十分优秀!