python - 如何解码 IEX DEEP pcap 文件

Question

我正在尝试解码来自 IEX(投资者交易所)的 DEEP 数据，该数据采用 pcap 形式。我目前正在使用 Python 工作。

我目前正在使用 Scapy 来解析 pcap 文件。问题是我不知道如何将原始负载(二进制形式)解码为人类可读的文本。这是一个例子。

from scapy.all import *

packets = rdpcap(r'20171104_IEXTP1_DEEP1.0.pcap')
packets[0].show()

结果是这样的

###[ Ethernet ]### 
  dst       = 01:00:5e:57:15:04
  src       = 00:1e:67:f2:62:24
  type      = 0x800
###[ IP ]### 
     version   = 4
     ihl       = 5
     tos       = 0x0
     len       = 68
     id        = 16005
     flags     = DF
     frag      = 0
     ttl       = 64
     proto     = udp
     chksum    = 0x49e2
     src       = 23.226.155.132
     dst       = 233.215.21.4
     \options   \
###[ UDP ]### 
        sport     = 10378
        dport     = 10378
        len       = 48
        chksum    = 0x6c15
###[ Raw ]### 
           load      = '\x01\x00\x04\x80\x01\x00\x00\x00\x00\x00BD\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\xce/\xec:\x98\xde\xf3\x14'

有什么方法可以知道那里的原始负载的内容吗？它应该是有关订单簿数据的信息。我没有看到任何现有工具可以对此进行解码。

如果有兴趣，您可以从IEX官方网站( https://iextrading.com/trading/market-data/#deep )获取这些文件。这些 pcap 文件通常相当大，因此我尝试使用较小的 20171104_IEXTP1_DEEP1.0.pcap。

Answer 1

如果您正在寻找更具可读性的负载转储，请尝试使用 Scapy hexdump 方法:

from scapy.all import *
from scapy.utils import hexdump

packets = rdpcap(r'20180127_IEXTP1_DEEP1.0.pcap')
packets[0].show()

raw = packets[0].lastlayer()
hexdump(raw)

这将输出如下内容:

###[ Ethernet ]### 
  dst       = 01:00:5e:57:15:04
  src       = 00:1e:67:f2:62:24
  type      = 0x800
###[ IP ]### 
     version   = 4
     ihl       = 5
     tos       = 0x0
     len       = 68
     id        = 53693
     flags     = DF
     frag      = 0
     ttl       = 64
     proto     = udp
     chksum    = 0xb6a9
     src       = 23.226.155.132
     dst       = 233.215.21.4
     \options   \
###[ UDP ]### 
        sport     = 10378
        dport     = 10378
        len       = 48
        chksum    = 0x955b
###[ Raw ]### 
           load      = '\x01\x00\x04\x80\x01\x00\x00\x00\x00\x00\x96D\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x91\x08\xf0M:\xac\r\x15'

0000  01000480010000000000964400000000 ...........D....
0010  00000000000000000100000000000000 ................
0020  9108F04D3AAC0D15                 ...M:...