Python 和正则表达式

Question

大家好，

我之前发布过类似的内容，所以如果您再次遇到这个问题，我深表歉意。这一次我会更具体，给你直接的例子并准确描述我想要的东西。基本上，我需要让原始数据看起来更漂亮:

str = '2011-06-1618:53:41222.222.2.22-somedomain.hi.comfw12192.10.215.11GET/965874/index.xls22233665588-0Mozilla/4.0 (compatible; MSI 5.5; Windows NT 5.1)'--55656-0.55-5874/659874540--'



more strings:
'2011-06-2150:36:1292.249.2.105-somedomain.hi.comfw12192.10.215.11GET/965874/ten.xls22233665588-0Mozilla/4.0 (compatible; MSI 6.0; Windows NT 5.1)'--55656-0.55-5874/659874540--'
'2011-01-1650:23:45123.215.2.215-somedomain.hi.comfw12192.10.215.11GET/123458/five.xls22233665588-0Mozilla/4.0 (compatible; MSI 7.0; Windows NT 5.1)'--55656-0.55-5874/659874540--'
'2011-02-1618:16:54129.25.2.119-thisdomain.hi.comfw12192.10.215.11GET/984745/two.xls22233665588-0Mozilla/4.0 (compatible; MSI 7.0; Windows NT 5.1)'--55656-0.55-5874/659874540--'
'2011-08-0525:22:16164.32.2.111-yourdomain.hi.comfw12192.10.215.11GET/85472/one.xls22233665588-0Mozilla/4.0 (compatible; MSI 8.0; Windows NT 5.1)'--55656-0.55-5874/659874540--'

在调试器中:

import re
str = '2011-06-1618:53:41222.222.2.22-somedomain.hi.comfw12192.10.215.11GET/965874/index.xls22233665588-0Mozilla/4.0 (compatible; MSI 5.5; Windows NT 5.1)'--55656-0.55-5874/659874540--'
domain = re.compile('^.*?(?=([fw].+?))')
domain.search(str).group()
'2011-06-1618:53:41222.222.2.22-somedomain.hi.com'
domain = domain.search(str).group()

因此，为了获得域，我需要去掉破折号 (-) 之前的所有内容，就在域名之前。我可以用这个 RE ([0-9]{3,5}).([0-9]{1,3}.){2}[0-9]{1,3}[- ] 但我不知道怎么说，找到那个值并返回它之后但在 fw12 之前的所有内容。

在一天结束时，我希望这些字符串看起来像这样，使用逗号 (,) 作为分隔符:

2011-08-05, 25:22:16, 164.32.2.111, yourdomain.hi.com, GET/85472/one.xls, Mozilla/4.0(兼容；MSI 8.0；Windows NT 5.1)

Answer 1

首选但可能不可行的方法

这看起来像(正如 MatToufoutu 指出的那样)一个 Apache 日志文件。如果确实如此，那么您可以使用 apachelog 或类似的东西来处理它。您需要将 Apache 的 httpd.conf/apache2.conf 文件字符串用作格式化程序。因为我没有你的，所以我只使用了 apachelog 文档中提供的那个:

import apachelog

format = r'%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" '
log_line = """212.74.15.68 - - [23/Jan/2004:11:36:20 +0000] "GET /images/previous.png HTTP/1.1" 200 2607 "http://peterhi.dyndns.org/bandwidth/index.html" "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.2) Gecko/20021202" """

p = apachelog.parser(format)
data = p.parse(log_line)

然后您可以通过访问data 的属性来访问日志文件的各个部分

print "%s, %s, %s, %s, %s" % (data['%t'], data['%h'], data['%{Referer}i'], data['%r'], data['%{User-Agent}i'])

获取输出

[23/Jan/2004:11:36:20 +0000], 212.74.15.68, http://peterhi.dyndns.org/bandwidth/index.html, GET /images/previous.png HTTP/1.1

使用正则表达式

或者，您可以采用最初的方法并使用正则表达式来解析该行。以下应该工作。它们被分成命名组以便于 A) 阅读 B) 编辑 C) 理解:

import re


your_string = "2011-06-1618:53:41222.222.2.22-somedomain.hi.comfw12192.10.215.11GET/965874/index.xls22233665588-0Mozilla/4.0 (compatible; MSI 5.5; Windows NT 5.1)'--55656-0.55-5874/659874540--"

pattern = re.compile(r'(?P<date>\d{4}(:?-\d{2}){2})(?P<time>(:?\d{2}:?){3})(?P<ip_address1>(:?\d{1,3}\.?){4})-(?P<domain>[\w\.]+)fw12(?P<ip_address2>(:?\d{1,3}\.?){4})(?P<get>(:?GET/(:?\d+/)).*?)\d+-0(?P<user_agent>.*?)\'--.*$')
result = pattern.match(your_string)

然后您可以使用 result.group('groupname') 访问结果，例如:

print "%s %s, %s, %s, %s, %s" % (result.group('date'), result.group('time'), result.group('ip_address1'), result.group('domain'), result.group('get'), result.group('user_agent'))

哪个会返回:

2011-06-16 18:53:41, 222.222.2.22, somedomain.hi.com, GET/965874/index.xls, Mozilla/4.0 (compatible; MSI 5.5; Windows NT 5.1)

由于此方法处理正则表达式，所以我总是喜欢添加我的免责声明:

You're parsing data. It falls on you and your judgment on how much tolerance, sanitation, and validation you require. You may need to modify the above to better suit your requirements, and to work properly with real world data not included in your sample(s). Ensure you understand what the regular expressions are doing so that you know how this code is working.