arrays - 在 Perl 中使用 FTP 流中的哈希值

Question

好吧，显然我在理解如何使用哈希时遇到了一些问题。长话短说，我试图解析 ftp 日志并找到特定搜索条件的相关流程。基本上我想做的是，假设我有一个 IP 地址或用户名，它首先执行一个非常简单的 grep 来尝试最小化我不需要的任何数据并将输出发送到外部文件。如果我正在搜索用户名testing1，那么它会对testing1执行grep并将输出发送到另一个名为output.txt的文件:

Dec  2 00:14:09 ftp1 ftpd[743]: USER testing1
Dec  2 00:14:09 ftp1 ftpd[743]: FTP LOGIN FROM 192.168.0.2 [192.168.0.2], testing1
Dec  2 00:30:08 ftp1 ftpd[1261]: USER testing1
Dec  2 00:30:09 ftp1 ftpd[1261]: FTP LOGIN FROM 192.168.0.4 [192.168.0.4], testing1
Dec  2 01:12:33 ftp1 ftpd[11804]: USER testing1
Dec  2 01:12:33 ftp1 ftpd[11804]: FTP LOGIN FROM 192.168.0.2 [192.168.0.2], testing1

下面是原始日志数据的示例:

Dec  1 23:59:03 ftp1 ftpd[4152]: USER testing1
Dec  1 23:59:03 ftp1 ftpd[4152]: PASS password  
Dec  1 23:59:03 ftp1 ftpd[4152]: FTP LOGIN FROM 192.168.0.02 [192.168.0.2], testing1  
Dec  1 23:59:03 ftp1 ftpd[4152]: PWD  
Dec  1 23:59:03 ftp1 ftpd[4152]: CWD /test/data/  
Dec  1 23:59:03 ftp1 ftpd[4152]: TYPE Image

然后我进去，将找到的所有 processID 以及该 ID 的时间放入哈希中。这就是您在下面看到的内容:

$VAR1 = {
      '743' => [
                 '00:1'
               ],
      '20687' => [
                   '01:3'
                 ],
      '27186' => [
                   '15:3'
                 ],
      '6929' => [
                  '12:0'
                ],
      '24771' => [
                   '09:0'
                 ],
      '11804' => [
                   '01:1'
                 ],
      '27683' => [
                   '08:3'
                 ],
      '14976' => [
                   '04:3'
                 ],
};

看起来时间好像被作为数组放入哈希中。我无法弄清楚为什么会发生这种情况，我决定将其作为数组使用。以下是数组哈希的创建方式:

# -------------------------------------------------------
# Extract PIDs and Time from lines, take out doubles
# -------------------------------------------------------
my $infile3 = 'output.txt';
my %pids;
my $found;
my $var;

open (INPUT2, $infile3) or die "Couldn't read $infile3.\n";

while (my $line = <INPUT2>) {
    if($line =~ /(\d{2})\:(\d)/ ) {
        my $hhmm = $1 . ":" . $2;
        if ($line =~ /ftpd\[(.*?)\]/) {
            $found = 0;
            foreach $var(keys %pids){
                if(grep $1 =~ $var, keys %pids){
                    $found = 1;
                }
            }
            if ($found == 0){
                push @{$pids{$1}}, $hhmm;

            }
        }       
    }

}

为了加快速度，我决定将所有具有匹配 PID 的行(无论它们是否适合流程)读取到一个数组中，这样我就不必继续读取原始文件。

##-------------------------------------------------------
## read each line from file into an array
##-------------------------------------------------------
open (INPUT, $infile2) or die "Couldn't read $infile2.\n";

my @messages;

while (my $line = <INPUT>){
    # if there is a match to the PID then put the line in the array
    if ($line =~ /ftpd\[(.*?)\]/){
        my $mPID = $1;
        foreach my $key (keys %pids){
            if ($key =~ $mPID){
                push @messages, $line;
            }
        }  
    }
}

我现在正在尝试将线路与 PID 和时间相匹配以获取流量。我只是在时间上匹配 hh:m，以便有更多机会获得整个流，并且因为具有相同时间范围的 PID 的其他流的机会非常小。最终所有这些结果将被发送到内部网页。

# -------------------------------------------------------
#find flow based on PID that was found from criteria
#-------------------------------------------------------

foreach my $line(@messages){
    if(my($pid) = $line =~ m{ \[ \s*(\d+) \]: }x) {
        if($line =~ /(\d{2})\:(\d)/){
            my $time = $1 . ":" . $2;
            if ($pids{$pid}[0] =~ /$time/){
                 push $pids{$pid}[0], $line;
            }
        }
    }
}

现在，由于某种原因，上面的代码实际上是在匹配时从哈希中删除时间。我不确定为什么会发生这种情况。

我能够使用 bash 脚本，但花了几十年才完成。感谢这里人们的建议，我决定用 Perl 来解决这个问题，所以我基本上是在参加速成类。我已经阅读了我能读到的所有内容，并且具备了基本的 C++ 编程技能，但显然仍然需要大量工作。我还使用数组让它工作，但它再次变得非常慢，并且我得到了很多与进程 ID 匹配的流，但不是我正在寻找的流。因此，在进一步的建议之后，我决定使用哈希，将进程 ID 作为键，引用该键的特定时间，然后在日志中将该键和时间作为流程的行。我已经对此有多个问题，但 A. 没有清楚地解释自己，B. 在我学习的过程中一直在尝试不同的事情。但郑重声明，这里的每个人都给了我很大的帮助，我希望有一天我也能为这个名单上的其他人做同样的事情。出于某种原因，我无法通过我厚厚的头骨得到这些东西。

无论如何，希望我涵盖了所有内容，我确信我开始对所有这些问题感到不安，所以我深表歉意。

更新:

嗯，我想我想出了如何使其全部散列，但看起来不正确。我将 Push @{$pids{$1}}, $hhmm; 更改为 $pids{$1}{$x} = $hhmm; ，它创建了以下内容:

$VAR1 = {
          '743' => {
                     '' => '00:1'
                   },
          '20687' => {
                       '' => '01:3'
        },

但它看起来引用不正确，所以当我 print $pids{743}; 时，它打印的只是 HASH(0x4caf10)

更新:

好的，我可以通过将 @{$pids{$1}}, $hhmm; 更改为 $pids{$1} = $hhmm;< 将所有值放入哈希中 似乎有效:

$VAR1 = {
          '743' => '00:1',
          '20687' => '01:3',
};

但是现在我如何检查值“00:1”是否与另一个变量匹配？这是我目前拥有的但不起作用:

if($pids{$pid} == qr/$time/){
    $pids{$pid}{$time}[$y] = $line;
    $y++;
};

这是匹配完成后的样子:

$VAR1 = {
          '743' => '00:1',
          '4771' => {
                      '23:5' => [
                                  'Dec  1 23:59:23 ftp1 ftpd[4771]: USER test
',
                                  'Dec  1 23:59:23 ftp1 ftpd[4771]: PASS password
',
                                  'Dec  1 23:59:23 ftp1 ftpd[4771]: FTP LOGIN FROM 192.168.0.2 [192.168.0.2], test
',
                                  'Dec  1 23:59:23 ftp1 ftpd[4771]: CWD /home/test/
',
                                  'Dec  1 23:59:23 ftp1 ftpd[4771]: TYPE Image
',
                                  'Dec  1 23:59:23 ftp1 ftpd[4771]: PASV
',
                                  'Dec  1 23:59:23 ftp1 ftpd[4771]: RETR test
',
                                  'Dec  1 23:59:23 ftp1 ftpd[4771]: QUIT
',
                                  'Dec  1 23:59:23 ftp1 ftpd[4771]: FTP session closed
'
                                ]
                    },

Answer 1

您的代码中有几个错误。

第一个是您只提取分钟的一位数字:

    if($line =~ /(\d{2})\:(\d)/ ) {

应该是

    if($line =~ /(\d{2})\:(\d{2})/ ) {

如果我正确地解释了您代码的意图，那么您正在尝试找出答案您是否已经看到给定 pid 的时间，以便您只需设置它第一次。如果是这样，则不需要循环遍历 %pid 中的所有键来做这个。您真正需要做的就是

        if ($line =~ /ftpd\[(.*?)\]/) {
            $pid{$1}[0] = $hhmm unless exists $pid{$1};
        }

请注意，我正在执行任务而不是推送，所以我会结束与数组引用的第一个元素中的时间。

我认为您可能想在下面输入“==”而不是“=~”:

            if(grep $1 =~ $var, keys %pids){

大概您需要捕获的信息不仅仅是时间，例如用户名，传输类型等，因此您可能会发现在 pid 下使用散列引用而不是数组引用更好。这样您就可以标记并轻松找到您的信息:

        my $pid = $1;
        if ($line =~ /ftpd\[(.*?)\]/) {
            $pid{$pid}{time} = $hhmm unless exists $pid{$pid};
        }
        if ($line =~ /USER (\w+)/) {
            $pid{$pid}{user} = $1;
        }

当然，您需要根据对您的目的最有意义的内容进行索引，以加快搜索速度。例如，您可以保留按时间索引的第二个哈希:

           $time{$hhmm}{pid} = $pid;

甚至保留与给定用户关联的所有 pid 的列表

           push @{$user{$1}}, $pid;