amazon-web-services - 在一处查看 AWS ALB 访问日志

Question

我为我的 AWS ALB 配置了访问日志记录。它每隔一段时间将这些日志转储到 S3 存储桶中。

要查看它们，您必须下载然后解压缩文件并浏览文本。

我想在一个地方查看 ALB HTTP 请求的列表，而无需执行上述过程。

AWS 是否提供此类服务？

Answer 1

AWS Application Load Balancer 将日志文件保存到 Amazon S3。

Amazon Athena 然后可用于查询保存在 S3 中的文件。重要的部分是了解文件格式。

请参阅这篇优秀文章:Athena & ALB Log Analysis

他们使用这个查询来创建表:

CREATE EXTERNAL TABLE IF NOT EXISTS logs.web_alb (
  type string,
  time string,
  elb string,
  client_ip string,
  client_port string,
  target string,
  request_processing_time int,
  target_processing_time int,
  response_processing_time int,
  elb_status_code int,
  target_status_code string,
  received_bytes int,
  sent_bytes int,
  request_verb string,
  request_url string,
  request_proto string,
  user_agent string,
  ssl_cipher string,
  ssl_protocol string,
  target_group_arn string,
  trace_id string
)
PARTITIONED BY(year string, month string, day string) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = '1',
  'input.regex' = '([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*):([0-9]*) ([^ ]*) ([-0-9]*) ([-0-9]*) ([-0-9]*) ([-0-9]*) ([^ ]*) ([-0-9]*) ([-0-9]*) \"([^ ]*) ([^ ]*) ([^ ]*)\" \"([^\"]*)\" ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*)'
) LOCATION 's3://{{BUCKET}}/AWSLogs/{{ACCOUNT}}/elasticloadbalancing/us-east-1/';