elasticsearch - 无服务器功能 cloudwatch 日志到 elasticsearch

Question

有没有人创建过无服务器功能，CloudWatch 将输出本地记录到 ElasticSearch？
我想知道是否有办法配置function yml 中的方法输出到已经存在的 ES 集群。

或者有没有办法将 CloudWatch 流(通过无服务器)连接到 lambda 函数，然后可以将解析的日志发送到 ES。

Answer 1

我通过使用无服务器创建 ES 集群并导出 ARN 来实现这一点。同样的无服务器服务还创建了“解析” lambda，它将处理所有 Cloudwatch 输出日志并传输到 ES。
然后我去了写入 Cloudwatch 的服务，在本例中是一个 ECS 集群，并创建了一个写入该 lambda 的 SubscriptionFilter，随后写入 ES。这是创建 ES 集群的无服务器 YML 文件的一部分。然后是 ECS YML 中的 SubscriptionFilter

ElasticSearchInstance:
  Type: AWS::Elasticsearch::Domain
  Properties:
    AdvancedOptions:
      rest.action.multi.allow_explicit_index: "true"
    CognitoOptions:
      Enabled: True
      IdentityPoolId:
        Ref: CognitoIdentityPool
      RoleArn:
        Fn::ImportValue: CognitoAccessRoleForAmazonESArn
      UserPoolId:
        Ref: CognitoUserPool
    DomainName: "name-of-my-es-cluster-${env:ENV}"
    EBSOptions:
      EBSEnabled: true
      VolumeType: gp2
      VolumeSize: 10
    ElasticsearchClusterConfig:
      InstanceType: t2.small.elasticsearch
      InstanceCount: 1
      DedicatedMasterEnabled: false
      ZoneAwarenessEnabled: false
    ElasticsearchVersion: 7.4

  ECSESParsingLamba:
  Type: AWS::Logs::SubscriptionFilter
  Properties:
    DestinationArn:
      Fn::ImportValue: !Sub "parsing-lambda-name-${Environment}"
    FilterPattern: "[message]"
    LogGroupName: !Ref LogGroupName