gpt4 book ai didi

elasticsearch - Cloudwatch 到 Elasticsearch 在推送到 ES 之前解析/标记日志事件

转载 作者:行者123 更新时间:2023-11-29 02:50:35 24 4
gpt4 key购买 nike

提前感谢您的帮助。

在我的场景中 - Cloudwatch 多行日志需要传送到 elasticsearch 服务。ECS--awslog->Cloudwatch---使用lambda--> ES域(基本流程虽然非常开放,可以改变数据从 CW 传输到 ES 的方式)

我能够使用 multi_line_start_pattern 解决多行问题但是我现在遇到的主要问题是我的日志有 ODL 格式(以下格式)

[yyyy-mm-ddThh:mm:ss.SSS-Z][ProductName-Version][Log Level]
[Message ID][LoggerName][Key Value Pairs][[
Message]]

并且我想在存储到 ES 之前解析和标记日志事件(相对于完整的日志行)。例如:

[2018-05-31T11:08:49.148-0400] [glassfish 4.1] [INFO] [] [] [tid: _ThreadID=43 _ThreadName=Thread-8] [timeMillis: 1527692929148] [levelValue: 800] [[
[] INFO : (DummyApplicationFunctionJPADAO) EntityManagerFactory located under resource lookup name [null], resource name=AuthorizationPU]]

需要使用格式进行解析和分词

    timestamp            2018-05-31T11:08:49.148-0400 
ProductName-Version glassfish 4.1
LogLevel INFO
MessageID
LoggerName
KeyValuePairs tid: _ThreadID=43 _ThreadName=Thread-8
Message [] INFO : (DummyApplicationFunctionJPADAO)
EntityManagerFactorylocated under resource lookup name
[null], resource name=AuthorizationPU

在上面的键值对重复且可变 - 为简单起见,我可以将所有存储为一个长字符串。

据我收集到的有关 Cloudwatch 的信息 - 订阅过滤器模式 reg ex 支持似乎非常有限,真的不确定如何适应上述模式。对于将数据推送到 ES 的 lambda 函数,还没有看到支持 lambda 作为解析和推送 ES 的手段的 AWS 文档或示例。

如果有人可以指导在 CW 日志进入 ES 之前解析什么/哪里是最佳选择,我们将不胜感激 => 订阅过滤器 - 模式与 lambda 函数或任何其他方式的对比。

谢谢。

最佳答案

据我所知,您最好的选择就是您的建议,CloudWatch 日志触发 lambda,将记录的数据重新格式化为您的 ES 首选格式,然后将其发布到 ES。

您需要将此 lambda 订阅到您的 CloudWatch 日志。您可以在 lambda 控制台或 cloudwatch 控制台 ( https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Subscriptions.html ) 上执行此操作。

lambda 的 event 有效负载将是:{ "awslogs": { "data": "encoded-logs"} } } 。其中 encoded-logs 是 gzip JSON 的 Base64 编码。

例如,示例事件 ( https://docs.aws.amazon.com/lambda/latest/dg/eventsources.html#eventsources-cloudwatch-logs ) 可以在节点中解码,例如,使用:

const zlib = require('zlib');
const data = event.awslogs.data;
const gzipped = Buffer.from(data, 'base64');
const json = zlib.gunzipSync(gzipped);
const logs = JSON.parse(json);
console.log(logs);
/*
{ messageType: 'DATA_MESSAGE',
owner: '123456789123',
logGroup: 'testLogGroup',
logStream: 'testLogStream',
subscriptionFilters: [ 'testFilter' ],
logEvents:
[ { id: 'eventId1',
timestamp: 1440442987000,
message: '[ERROR] First test message' },
{ id: 'eventId2',
timestamp: 1440442987001,
message: '[ERROR] Second test message' } ] }
*/

根据您所概述的内容,您需要提取 logEvents 数组,并将其解析为字符串数组。如果您需要,我也很乐意为此提供一些帮助(但我需要知道您使用哪种语言编写 lambda - 有用于标记化 ODL 的库 - 所以希望它不会太难)。

此时您可以将这些新记录直接POST 到您的 AWS ES 域中。 S3-to-ES 指南有点含糊,很好地概述了如何在 python 中执行此操作:https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-aws-integrations.html#es-aws-integrations-s3-lambda-es

您可以在此处找到完成所有这些(由其他人)的 lambda 的完整示例:https://github.com/blueimp/aws-lambda/tree/master/cloudwatch-logs-to-elastic-cloud

关于elasticsearch - Cloudwatch 到 Elasticsearch 在推送到 ES 之前解析/标记日志事件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50685132/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com