python - 如何将单个 apache 日志条目解析为 python 对象

Question

我正在处理我的第一个 python 脚本，试图将 apache 日志解析为可访问的对象，但我无法让它工作。

我正在尝试使用 this示例(运行 Python 2.7)并且只想让它与单个日志条目一起工作。

这是我的:

import re
from collections import namedtuple

format_pat= re.compile( 
    r"(?P<host>[\d\.]+)\s" 
    r"(?P<identity>\S*)\s" 
    r"(?P<user>\S*)\s"
    r"\[(?P<time>.*?)\]\s"
    r'"(?P<request>.*?)"\s'
    r"(?P<status>\d+)\s"
    r"(?P<bytes>\S*)\s"
    r'"(?P<referer>.*?)"\s'
    r'"(?P<user_agent>.*?)"\s*' 
)

Access = namedtuple('Access',
    ['host', 'identity', 'user', 'time', 'request',
    'status', 'bytes', 'referer', 'user_agent'] )

# my entry
log = '2001:470:1f14:169:15f3:824f:8a61:7b59 - ABC-15414 [14/Nov/2012:09:32:31 +0100] "POST /setConnectionXml HTTP/1.1" 200 4 "-" "-" 102356'

match= format_pat.match(log) 
print match

if match:
   Access( **match.groupdict() )
   print Access

我不确定我做错了什么，但是 match 返回 none，而不是我希望的对象。

有人可以给我提示吗？

Answer 1

您的 host 条目仅匹配数字和点(IPv4 地址)，但您发布的日志条目示例是 IPv6 地址。调整您的模式以允许该格式(因此要么匹配数字和点，要么匹配十六进制字符和冒号:

format_pat= re.compile( 
    r"(?P<host>(?:[\d\.]|[\da-fA-F:])+)\s" 
    r"(?P<identity>\S*)\s" 
    r"(?P<user>\S*)\s"
    r"\[(?P<time>.*?)\]\s"
    r'"(?P<request>.*?)"\s'
    r"(?P<status>\d+)\s"
    r"(?P<bytes>\S*)\s"
    r'"(?P<referer>.*?)"\s'
    r'"(?P<user_agent>.*?)"\s*' 
)

通过该调整，您的示例匹配:

>>> format_pat.match(log).groupdict()
{'status': '200', 'bytes': '4', 'request': 'POST /setConnectionXml HTTP/1.1', 'host': '2001:470:1f14:169:15f3:824f:8a61:7b59', 'referer': '-', 'user': 'ABC-15414', 'time': '14/Nov/2012:09:32:31 +0100', 'identity': '-', 'user_agent': '-'}