- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
提前感谢您的帮助。
在我的场景中 - Cloudwatch 多行日志需要传送到 elasticsearch 服务。ECS--awslog->Cloudwatch---使用lambda--> ES域(基本流程虽然非常开放,可以改变数据从 CW 传输到 ES 的方式)
我能够使用 multi_line_start_pattern 解决多行问题但是我现在遇到的主要问题是我的日志有 ODL 格式(以下格式)
[yyyy-mm-ddThh:mm:ss.SSS-Z][ProductName-Version][Log Level]
[Message ID][LoggerName][Key Value Pairs][[
Message]]
并且我想在存储到 ES 之前解析和标记日志事件(相对于完整的日志行)。例如:
[2018-05-31T11:08:49.148-0400] [glassfish 4.1] [INFO] [] [] [tid: _ThreadID=43 _ThreadName=Thread-8] [timeMillis: 1527692929148] [levelValue: 800] [[
[] INFO : (DummyApplicationFunctionJPADAO) EntityManagerFactory located under resource lookup name [null], resource name=AuthorizationPU]]
需要使用格式进行解析和分词
timestamp 2018-05-31T11:08:49.148-0400
ProductName-Version glassfish 4.1
LogLevel INFO
MessageID
LoggerName
KeyValuePairs tid: _ThreadID=43 _ThreadName=Thread-8
Message [] INFO : (DummyApplicationFunctionJPADAO)
EntityManagerFactorylocated under resource lookup name
[null], resource name=AuthorizationPU
在上面的键值对重复且可变 - 为简单起见,我可以将所有存储为一个长字符串。
据我收集到的有关 Cloudwatch 的信息 - 订阅过滤器模式 reg ex 支持似乎非常有限,真的不确定如何适应上述模式。对于将数据推送到 ES 的 lambda 函数,还没有看到支持 lambda 作为解析和推送 ES 的手段的 AWS 文档或示例。
如果有人可以指导在 CW 日志进入 ES 之前解析什么/哪里是最佳选择,我们将不胜感激 => 订阅过滤器 - 模式与 lambda 函数或任何其他方式的对比。
谢谢。
最佳答案
据我所知,您最好的选择就是您的建议,CloudWatch 日志触发 lambda,将记录的数据重新格式化为您的 ES 首选格式,然后将其发布到 ES。
您需要将此 lambda 订阅到您的 CloudWatch 日志。您可以在 lambda 控制台或 cloudwatch 控制台 ( https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Subscriptions.html ) 上执行此操作。
lambda 的 event
有效负载将是:{ "awslogs": { "data": "encoded-logs"} } }
。其中 encoded-logs
是 gzip JSON 的 Base64 编码。
例如,示例事件 ( https://docs.aws.amazon.com/lambda/latest/dg/eventsources.html#eventsources-cloudwatch-logs ) 可以在节点中解码,例如,使用:
const zlib = require('zlib');
const data = event.awslogs.data;
const gzipped = Buffer.from(data, 'base64');
const json = zlib.gunzipSync(gzipped);
const logs = JSON.parse(json);
console.log(logs);
/*
{ messageType: 'DATA_MESSAGE',
owner: '123456789123',
logGroup: 'testLogGroup',
logStream: 'testLogStream',
subscriptionFilters: [ 'testFilter' ],
logEvents:
[ { id: 'eventId1',
timestamp: 1440442987000,
message: '[ERROR] First test message' },
{ id: 'eventId2',
timestamp: 1440442987001,
message: '[ERROR] Second test message' } ] }
*/
根据您所概述的内容,您需要提取 logEvents
数组,并将其解析为字符串数组。如果您需要,我也很乐意为此提供一些帮助(但我需要知道您使用哪种语言编写 lambda - 有用于标记化 ODL 的库 - 所以希望它不会太难)。
此时您可以将这些新记录直接POST
到您的 AWS ES 域中。 S3-to-ES 指南有点含糊,很好地概述了如何在 python 中执行此操作:https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-aws-integrations.html#es-aws-integrations-s3-lambda-es
您可以在此处找到完成所有这些(由其他人)的 lambda 的完整示例:https://github.com/blueimp/aws-lambda/tree/master/cloudwatch-logs-to-elastic-cloud
关于elasticsearch - Cloudwatch 到 Elasticsearch 在推送到 ES 之前解析/标记日志事件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50685132/
我正在寻找一种使此打印 HTML 代码 fragment 向后兼容旧 Android 版本的简单方法: @TargetApi(Build.VERSION_CODES.KITKAT) private v
我在 GCC 终端 (centos linux) 中为 ATM 项目编译以下 c 和 .h 代码时收到以下错误。请帮忙,因为我是编程新手。 validate_acc.h #ifndef _VALIDA
在写关于 SO 的不同问题的答案时,我制作了这个片段: @import url('https://fonts.googleapis.com/css?family=Shadows+Into+Light'
试图弄清楚我应该如何在 my_div_class 之前放置一个 span 而不是替换所有它。现在它取代了 div,但我不想这样做。我假设它类似于 :before 但不知道如何使用它。 { va
我正在使用选择库 http://github.hubspot.com/select/和 noUiSlider https://refreshless.com/nouislider/ .我面临的问题如下
我是开发新手,独自工作。我正在使用 Xcode 和 git 版本控制。可能我没有适本地组织和做错事,但我通常决定做 promise 只是为了在我破坏一切之前做出安全点。在那一刻,我发现很难恰本地描述我
我想确保在同一个桶和键上读取和写入时,应该更新获取的值,也就是说,应该在对其进行写入操作之后获取它。我怎样才能做到这一点? 我想要的是,如果我更新一个键的值,如果我同时使用不同线程获取值,则更新同一个
我的问题与this有关问题,已经有了答案: yes, there is a happens-before relationship imposed between actionsof the thre
The before and after hook documentation on Relish仅显示 before(:suite) 在 before(:all) 之前调用。 我什么时候应该使用其中
我有 CSV 行,我想在其中检测所有内部双引号,没有文本限定符。这几乎可以正常工作,但我的正则表达式还可以检测双引号后的字符。 CSV 部分: "7580";"Lorem ipsum";"";"Lor
是否可以通过Youtube数据API检查广告是否可以与特定视频一起显示? 我了解contentDetails.licensedContent仅显示视频是否已上传至同一伙伴然后由其声明版权。由于第三者权
考虑一下用漂亮的彩色图表描述的“像素管道” https://developers.google.com/web/fundamentals/performance/rendering/ 我有一个元素(比
之前?
在 MVC3 中,我可以轻松地将 jQuery 脚本标签移动到页面底部“_Layout.vbhtml” 但是,在 ASP.NET MVC3 中,当您使用编辑器模板创建 Controller 时,脚手
悬停时内容被替换,但是当鼠标离开元素时我希望它变回来。我该怎么做? $('.img-wrap').hover(function(){ $(this).find('h4').text('Go
已关闭。这个问题是 not reproducible or was caused by typos 。目前不接受答案。 这个问题是由拼写错误或无法再重现的问题引起的。虽然类似的问题可能是 on-top
已关闭。这个问题是 not reproducible or was caused by typos 。目前不接受答案。 这个问题是由拼写错误或无法再重现的问题引起的。虽然类似的问题可能是 on-top
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 已关闭 9 年前。 有关您编写的代码问题的问题必须在问题本身中描述具体问题 - 并包含有效代码以重现该问题。
版本:qwt 6.0.1我尝试开发频谱的对数缩放。我使用简单的线条来启用缩放plotspectrum->setAxisScaleEngine(QwtPlot::yLeft, new QwtLog10S
我有两个相同的表,I_Subject 和 I_Temp_Subject,我想将 Temp_Subject 表复制到 Subject 表。 I_Temp_Subject 由简单用户使用,I_Subjec
我的印象是第一次绘制发生在触发 DOMContentLoaded 事件之后。特别是,因为我认为为了让第一次绘制发生,需要渲染树,它依赖于 DOM 构造。另外,我知道 DOM 构造完成时会触发 DOMC
我是一名优秀的程序员,十分优秀!