python - 在正则表达式中解析 FIX 协议(protocol)？

Question

我需要解析包含 FIX 协议(protocol)消息的日志文件。

每一行都包含 header 信息(时间戳、日志记录级别、端点)，后跟 FIX 负载。

我使用正则表达式将 header 信息解析为命名组。例如:

 <?P<datetime>\d{2}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}.\d{6}) (?<process_id>\d{4}/\d{1,2})\s*(?P<logging_level>\w*)\s*(?P<endpoint>\w*)\s*

然后我来到 FIX 有效负载本身(^A 是每个标签之间的分隔符)例如:

8=FIX.4.2^A9=61^A35=A...^A11=blahblah...

我需要从中提取特定标签(例如，“A”来自 35=，或“blahblah”来自 11=)，并忽略所有其他内容 - 基本上我需要忽略“35=A”之前的任何内容，并且直到“11=blahblah”之后的任何内容，然后忽略之后的任何内容等等。

我确实知道有一个库可能能够解析每个标签 (http://source.kentyde.com/fixlib/overview)，但是，如果可能的话，我希望在这里使用正则表达式的简单方法，因为我真的只需要几个标签。

在正则表达式中有没有好的方法来提取我需要的标签？

干杯，维克多

Answer 1

无需在 "\x01"上拆分，然后用正则表达式过滤。如果您只需要标记 34,49 和 56(MsgSeqNum、SenderCompId 和 TargetCompId)，您可以使用正则表达式:

dict(re.findall("(?:^|\x01)(34|49|56)=(.*?)\x01", raw_msg))

如果您知道您的发件人没有嵌入可能导致任何简单正则表达式错误的数据，那么像这样的简单正则表达式将起作用。具体来说:

1. 没有原始数据字段(实际上是数据长度和原始数据的组合，如 RawDataLength、RawData (95/96) 或 XmlDataLen、XmlData (212,213)
2. 没有用于 Unicode 字符串的编码字段，例如 EncodedTextLen、EncodedText (354/355)

要处理这些情况需要大量额外的解析。我使用自定义 python 解析器，但即使您在上面引用的 fixlib 代码也会出错。但是如果你的数据没有这些异常，上面的正则表达式应该返回一个你想要的字段的很好的字典。

编辑:我保留了上面的正则表达式原样，但应该对其进行修改，以便最终匹配元素为 (?=\x01)。可以在@tropleee 的 answer here 中找到解释。 .