python - 在Python中为split()创建动态 "variable layout"

Question

我有一个解析 IIS 日志的脚本，目前它使用 split 将 IIS 字段值放入多个变量中逐一获取日志行，如下所示:

date, time, sitename, ip, uri_stem, whatever = log_line.split(" ")

而且，它在默认设置下工作得很好。但是，如果其他人使用不同的日志字段布局(不同的顺序或不同的日志字段，或两者兼而有之)，他将必须在源代码中找到此行并进行修改。这个人还必须知道如何修改它，以便不会出现任何中断，因为显然这个变量稍后会在代码中使用。

我怎样才能使这个更通用，以某种方式包含某种列表，其中包含用户可以修改的IIS日志字段布局(配置变量，或脚本开头的字典/列表)稍后将用于保存日志行值？这就是我所认为的——“动态”。我正在考虑也许使用 for 循环和字典来做到这一点，但我想与使用 split() 相比，它会对性能产生很大的影响，或者不是吗？有人对如何/应该如何做到这一点有建议吗？

这是否值得这么麻烦，或者我应该为使用该脚本的任何人记下在哪里更改包含 log_line.split() 的代码行、如何操作以及要注意什么？

谢谢。

Answer 1

如果只有字段的顺序可能不同，则可以处理每行的验证并自动调整信息的提取以适应检测到的顺序。
我认为在正则表达式的帮助下很容易做到这一点。

如果不仅顺序不同，字段的数量和性质也可能不同，我认为仍然可以做同样的事情，但前提是提前知道可能的字段。

共同的条件是字段必须具有足够强大的“个性”以便易于区分

在我看来，如果没有更准确的信息，没有人可以走得更远

8 月 15 日星期一 9:39 GMT+0:00

spilp.py 中似乎存在错误:
一定是

使用 codecs.open(file_path, 'r',encoding='utf-8',errors='ignore') 作为 log_lines:
不是
with open(file_path, 'r',encoding='utf-8',errors='ignore') 作为 log_lines:
后者使用内置的 open() ，它没有相关的关键字

8 月 15 日星期一 16:10 GMT+0:00

目前，在示例文件中，字段按以下顺序排列:

date
time
s-sitename
s-ip
cs-method
cs-uri-stem
cs-uri-query
s-port cs-username
c-ip
cs(User-Agent)
sc-status
sc-substatus
sc-win32-status

.

假设您想按以下顺序提取每行的值:

s-port
time
date
s-sitename
s-ip
cs(User-Agent)
sc-status
sc-substatus
sc-win32-status
c-ip
cs-username
cs-method
cs-uri-stem cs-uri-query

以相同的顺序将它们分配给以下标识符:

s_port
time
date
s_sitename
s_ip
cs_user_agent
sc_status
sc_substatus
sc_win32_status
c_ip
cs_username
cs_method
cs_uri_stem
cs_uri_query

正在做

s_port,
time, date,
s_sitename, s_ip,
cs_user_agent, sc_status, sc_substatus, sc_win32_status,
c_ip,
cs_username,
cs_method, cs_uri_stem, cs_uri_query = line_spliter(line)

使用函数line_spliter()

我知道，我知道，您想要的是相反的:按照文件当前的顺序恢复在文件中读取的值，以防万一存在一个文件的顺序与一般当前文件的顺序不同。

但我仅以此为例，目的是让示例文件保持原样。否则，我需要创建一个具有不同顺序值的其他文件来公开示例。

无论如何，算法不依赖于示例。它取决于定义执行正确分配所必须获得的值的连续性所需的顺序。

在我的代码中，这个所需的顺序是使用对象ref_fields设置的

我认为我的代码及其执行本身就可以帮助理解原理。

import re


ref_fields = ['s-port',
              'time','date', 
              's-sitename', 's-ip',
              'cs(User-Agent)', 'sc-status', 
              'sc-substatus', 'sc-win32-status',
              'c-ip',
              'cs-username',
              'cs-method', 'cs-uri-stem', 'cs-uri-query']

print 'REF_FIELDS :\n------------\n%s\n' % '\n'.join(ref_fields)


############################################
file_path = 'I:\\sample[1].log'                  # Path to put here
############################################


with open(file_path, 'r') as log_lines:
    line = ''
    while line[0:8]!='#Fields:':
        line = next(log_lines)
    # At this point, line is the line containing the fields keywords
    print 'line of the fields keywords:\n----------------------------\n%r\n' % line

    found_fields = line.split()[1:]
    len_found_fields = len(found_fields)
    regex_extractor = re.compile('[ \t]+'.join(len_found_fields*['([^ \t]+)']))
    print 'list found_fields of keywords in the file:\n------------------------------------------\n%s\n' % found_fields

    print '\nfound_fields == ref_fields  is ',found_fields == ref_fields




    if found_fields == ref_fields:
        print '\nNORMAL ORDER\n------------'
        def line_spliter(line):
            return line.split()

    else:
        the_order = [ found_fields.index(fild) + 1 for fild in ref_fields]
        # the_order is the list of indexes localizing the elements of ref_fields 
        # in the order in which they succeed in the actual line of found fields keywords
        print '\nSPECIAL ORDER\n-------------\nthe_order == %s\n\n\n======================' % the_order
        def line_spliter(line):
            return regex_extractor.match(line).group(*the_order)



    for i in xrange(1):
        line = next(log_lines)
        (s_port,
        time, date,
        s_sitename, s_ip,
        cs_user_agent, sc_status, sc_substatus, sc_win32_status,
        c_ip,
        cs_username,
        cs_method, cs_uri_stem, cs_uri_query) = line_spliter(line)
        print ('LINE :\n------\n'
               '%s\n'
               'SPLIT LINE :\n--------------\n'
               '%s\n\n'
               'REORDERED SPLIT LINE :\n-------------------------\n'
               '%s\n\n'
               'EXAMPLE OF SOME CORRECT BINDINGS OBTAINED :\n-------------------------------------------\n'
               'date == %s\n'
               'time == %s\n'
               's_port == %s\n'
               'c_ip == %s\n\n'
               '======================') % (line,'\n'.join(line.split()),line_spliter(line),date,time,s_port,c_ip)




# ---- split each logline into multiple variables, populate dictionaries and db ---- #      
def splitLogline(log_line):
        # needs to be dynamic (for different logging setups)
        s_port,
        time, date,
        s_sitename, s_ip,
        cs_user_agent, sc_status, sc_substatus, sc_win32_status,
        c_ip,
        cs_username,
        cs_method, cs_uri_stem, cs_uri_query = line_spliter(line)

结果

REF_FIELDS :
------------
s-port
time
date
s-sitename
s-ip
cs(User-Agent)
sc-status
sc-substatus
sc-win32-status
c-ip
cs-username
cs-method
cs-uri-stem
cs-uri-query

line of the fields keywords:
----------------------------
'#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status \n'

list found_fields of keywords in the file:
------------------------------------------
['date', 'time', 's-sitename', 's-ip', 'cs-method', 'cs-uri-stem', 'cs-uri-query', 's-port', 'cs-username', 'c-ip', 'cs(User-Agent)', 'sc-status', 'sc-substatus', 'sc-win32-status']


found_fields == ref_fields  is  False

SPECIAL ORDER
-------------
the_order == [8, 2, 1, 3, 4, 11, 12, 13, 14, 10, 9, 5, 6, 7]


======================
LINE :
------
2010-01-01 00:00:03 SITENAME 192.168.1.1 GET /news-views.aspx - 80 - 66.249.72.135 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 200 0 0

SPLIT LINE :
--------------
2010-01-01
00:00:03
SITENAME
192.168.1.1
GET
/news-views.aspx
-
80
-
66.249.72.135
Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
200
0
0

REORDERED SPLIT LINE :
-------------------------
('80', '00:00:03', '2010-01-01', 'SITENAME', '192.168.1.1', 'Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)', '200', '0', '0\n', '66.249.72.135', '-', 'GET', '/news-views.aspx', '-')

EXAMPLE OF SOME CORRECT BINDINGS OBTAINED :
-------------------------------------------
date == 2010-01-01
time == 00:00:03
s_port == 80
c_ip == 66.249.72.135

======================

此代码仅适用于文件中的字段被打乱的情况，但其数量与正常的已知字段列表相同。

也可能发生其他情况，例如文件中的值少于已知和等待的字段。如果您需要针对这些其他情况的更多帮助，请解释可能会发生哪些情况，我将尝试调整代码。

.

我想我会对我在 spilp.py 中快速阅读的代码做很多评论。当我有时间的时候我会写它们。