mysql - 将 pcap 文件导入数据库

Question

如果有人能帮我解决这个问题，我将不胜感激。我有一些 Wireshark/pcap 文件——大约 30 个文件。我需要分析它们是否存在恶意事件。网络是否以任何方式受到损害。搜索文件的最佳方法是什么？我正在考虑将它们加载到数据库中。我知道 pcap 文件需要先转换为 csv 格式才能导入数据库。

在 Microsoft SQL 或 mySQL 之间使用哪个数据库更好？基本上哪个数据库更容易导入 CSV 文件？

Answer 1

我无法回答您的数据库特定问题，但我可以就如何分析捕获文件以及如何使用现有的流行解决方案将它们放入数据库提供建议。

如果您只喜欢基于签名的警报，我建议您阅读您的 PCAP 文件使用 Barnyard 进入 IDS，例如 Snort 或 Suricata，以输出到数据库后端。存在 Web 前端，例如 Snorby 和 Squert，用于搜索和分类警报。使用许多流行的 IDS 引擎可以轻松读取 PCAP 文件，例如

$ snort -r traffic.pcap

如果您只想像数据一样流动，但需要一些应用层解码，我建议使用 Bro 输出 CSV 或它的默认 TSV(制表符分隔)格式，这很容易存储在数据库中并提供大量信息。

Bro 将其解码后的流量写入协议(protocol)名称的各个日志文件，例如dns.log, http.log.

$ bro -r traffic.pcap
$ head http.log
1216691479.339424   kfuZwhwI5c6 192.168.1.64    41607   65.175.87.70    80  1   GET e.drugstore.com /a/hBIhP7YAbeh5-B7SEoEBNJqOT.AcGxgqbm/spacer.gif    -   Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10_5_4; en-us) AppleWebKit/525.18 (KHTML, like Gecko)   0   43  200 OK  -   (empty) -   -   -   image/gif   -   -
$ head dns.log
1216691468.360749   MCshRYLiesf 192.168.1.64    20128   192.168.1.254   53  udp 3217    ssl.google-analytics.com    1   C_INTERNET  NOERROR F   F   T   T   0   ssl-google-analytics.l.google.com,209.85.171.97 26636.000000,65.000000
$ head ssl.log
1216691467.672054   NdRPIIlKZaa 192.168.1.64    34050   74.125.19.103   443 TLSv10  TLS_RSA_WITH_RC4_128_SHA    www.google.com  9fea36dc5f2dc0d7bbfac02cec7595cf130f638a69a671801be670353be0c687    -   -   -   -   -
$ head files.log
1396403999.886276   FIvzWp1ZUUnNJD9i6   192.168.1.64    65.175.87.70    CtuART1AUxrAifTqd4  HTTP    0   SHA1,MD5    image/jpeg  -   9.956452    F   F   728731  728731  0   0   F   -   8cbf8f2e2713629fcd3ade0965e5e1f9    6ebfa114d86191eecb725c14f98b7c2a24a0cfa0    -

要以 CSV 格式写入输出，您可以像这样设置 Bro 的字段分隔符:

$ bro -r day1.pcap 'LogAscii::separator = ",";'
$ head http.log

1216691479.339424,SVZC7821ith,192.168.1.64,41607,65.175.87.70,80,1,GET,e.drugstore.com,/a/hBIhP7YAbeh5-B7SEoEBNJqOT.AcGxgqbm/spacer.gif,-,Mozilla/5.0 ( U; PPC Mac OS X 10_5_4; en-us) AppleWebKit/525.18 (KHTML\x2c like Gecko),0,43,200,OK,-,-,-,(empty),-,-,-,image/gif,- ,-

在我看来，最终简单的解决方案是在虚拟机中安装 SecurityOnion，完成设置向导，然后在网络接口(interface)。

$ tcpreplay -i eth0 *.pcap

这将为您提供上面列出的所有内容，但开箱即用:

1. 使用 Snort 或 Suricata 进行 IDS 分析，存储在 MySQL 数据库中，可搜索通过网络前端:Squert、Snorby 和 ELSA
2. Bro 日志写入/nsm/bro/logs 并可在 ELSA 前端搜索
3. 解码后的 session (如果适用)和 Assets 信息存储在 MySQL 数据库中，可通过 Sguil 搜索，并可转入 Wireshark 或 Network Minor 以进行更仔细的检查。
4. 能够让 Bro 从网络流中提取文件以进行取证分析

最后，还有 Moloch，一个开源的 IPv4 完整 PCAP 捕获、索引和数据库系统。我没有使用 Moloch，但它看起来可以解决您的问题。