linux - While循环性能:极慢

Question

我有input.txt和parts.txt文件，如下所示：

input.txt
CAR*BMW*X1*BUMBER*PLATE~
CAR*AUDI*A5*HOOD~
CAR*MAZDA*CX3*QNX*DIGITAL~
CAR*BMW*X5*SEAT~
SUV*FORD*EXPLORER*GLASS*SAFE~
CAR*FORD*FUSION*QNX~
CAR*GM*YUKON**~

parts.txt
BLACKBERRY
GOOGLE
NXP

下面的bash代码是用red hat linux服务器编写的，需要很长时间。示例我有一个10MB大小的输入文件，完成该过程需要3个小时。

#!/bin/bash
segment=CAR
position=3
a=0
b=0
while IFS='*' read -r -d'~' -a data; do
    if [ "${data[0]}" = "$segment" ]; then
        if [ ${#data[$position]} -gt 0 ]; then
           data[$position]=$(shuf -n1 "/tmp/parts.txt")
        b=$((b+1))
        fi
    a=$((a+1))
    fi
    # and output the data
     (IFS=*; printf "%s~" "${data[*]}";)  >> /tgt/output.txt
done < /src/input.txt 

output.txt
CAR*BMW*X1*BLACKBERRY*PLATE~
CAR*AUDI*A5*NXP~
CAR*MAZDA*CX3*NXP*DIGITAL~
CAR*BMW*X5*GOOGLE~
SUV*FORD*EXPLORER*GLASS*SAFE~
CAR*FORD*FUSION*BLACKBERRY~
CAR*GM*YUKON**~

代码说明：
对于input.txt文件中的所有“car”段，我试图使用shuf命令用parts.txt文件中的随机数据更新该行的第三个位置。
行（input.txt）中的每个字段用*分隔，行分隔符是~。
问：我们能否改进上述while语句的性能？
我尝试在下面的代码中一次性写入output.txt，而不是在while循环中多次写入，但这仍然需要10MB input.txt文件的时间

 (IFS=*; printf "%s~" "${data[*]}";)
done < input.txt > output.txt 

我在网上搜索了一下，每个人都在告诉Pearl这类场景很好。我们能用pearl命令编写while循环吗？怎么写？

Answer 1

在进行优化时，第一步是计算读取输入文件所需的时间，而不做任何处理。在我的系统中，一个10MB文件只需要几百分之一秒。
因此，现在我们知道它将花费最少的时间，我们需要研究优化策略。在您的示例代码中，您正在打开parts.txt并从文件系统中读取输入文件中每条记录的文件。所以你要大大增加所需的工作量。如果您可以将部件文件保存在内存中，并从中为输入文件中的每条记录获取一个随机元素，那就更好了。
下一个你可以做的优化是避免每次你需要一个零件时都乱序零件列表。最好抓取一个随机元素，而不是洗牌元素。
您还可以跳过对任何不以car开头的记录的任何处理，但这似乎是一个较小的优势。
无论如何，以下几点可以实现这些目标：

#!/usr/bin/env perl

use strict;
use warnings;
use Getopt::Long;
use Time::HiRes qw(time);

my ($parts_file, $input_file, $output_file) = ('parts.txt', 'input.txt', 'output.txt');

GetOptions(
    "parts=s",  \$parts_file,
    "input=s",  \$input_file,
    "output=s", \$output_file,
);

my $t0 = time;
chomp(
    my @parts = do {
        open my $fh, '<', $parts_file or die "Cannot open $parts_file: $!\n";
        <$fh>;
    }
);

open my $input_fh, '<', $input_file or die "Cannot open $input_file for input: $!\n";
local $/ = '~';

open my $out_fh,   '>', $output_file or die "Cannot open $output_file for output: $!\n";

my $rec_count = 0;
while (my $rec = <$input_fh>) {
    chomp $rec;
    $rec =~ s{^
        (CAR\*(?:[^*]+\*){2})
        [^*]+
    }{
        $1 . $parts[int(rand(@parts))]
    }xe;
    ++$rec_count;
    print $out_fh "$rec$/";
}

close $out_fh or die "Cannot close output file $output_file: $!\n";
printf "Elapsed time: %-.03f\nRecords: %d\n", time-$t0, $rec_count;

在我的系统中，一个由488321个记录（大约10MB大小）组成的文件需要0.588秒的时间来处理。
为了您自己的需要，您将需要使用这个perl脚本并对其进行修改，以便对文件名和文件系统路径进行更健壮的处理。不过，这并不是问题的一部分。这段代码的主要目标是演示可以在哪里进行优化；例如，将工作移出循环；我们只打开一次零件文件，读取一次，并且从不乱序；我们只从内存中的零件列表中获取一个随机项。
由于命令行“一行程序”非常方便，我们应该看看这是否可以归结为一行程序。通过使用 -l、 -a、 -p、 -F、 -e和 -p开关，可以在Perl“一行程序”中实现大部分等效功能（不过，我冒昧地让它流向多行程序）：

perl -l0176  -apF'\*' -e '
    BEGIN{
        local $/ = "\n";
        chomp(@parts = do {open $fh, "<", shift(@ARGV); <$fh>})
    }
    $F[0] =~ m/^CAR/ && $F[3] =~ s/^\w+$/$parts[int(rand(@parts))]/e;
    $_ = join("*", @F);
' parts.txt input.txt >output.txt

其工作原理如下：
$_开关告诉perl在命令行上指定的文件中的每一行上迭代，如果没有指定，则在stdin上迭代。对于每一行，将该行的值放入 $_，在转到下一行之前，将 $_的内容打印到stdout。这使我们有机会修改 -l，以便将更改写入stdout。但是我们使用 ~开关，它允许我们指定一个表示不同记录分隔符的八进制值。在本例中，我们使用 -p字符的八进制值。这会导致 ~迭代由 \n分隔的记录，而不是 -l。此外， -a开关条记录输入时的分隔符，并在输出时替换它们。
但是，我们也使用 -F和 -a开关。 @F告诉perl将输入自动拆分为 -F数组，并且 *允许我们指定要在 -F字符上自动拆分。因为 *接受pcre模式，并且 -e在pcre中被视为量词，所以我们用反斜杠来转义它。
接下来， BEGIN{...}开关将把下面的字符串作为代码进行计算。最后我们可以讨论代码字符串。首先，有一个 @ARGV块，它将一个值从 -p移开，并将其用作要打开的文件名，以便从中读取明细表。一旦该文件名被关闭，脚本中的 -p开关就不会考虑读取它（begin块发生在隐式 BEGIN{...}循环之前）。因此，只要考虑 ~块中的代码临时将记录分隔符设置回换行符，将零件文件读入数组，然后再次将记录分隔符放弃为 @F。
现在我们可以越过起点街区了。 CAR已成为保存给定记录中字段的容器。第四个字段（偏移量3）是要交换的字段。检查第一个字段（偏移量0）是否以 $_开头。如果是，则将第4个字段的内容设置为parts数组中的随机元素，但前提是该字段包含一个或多个字符。
然后我们将这些字段连接起来，用星号分隔，并将结果赋给 -p。我们的工作完成了。由于使用了 $_开关，perl将 ~的内容写入stdout，然后附加记录分隔符 。
最后在命令行中，我们首先指定零件文件的路径，然后指定输入文件的路径，然后将stdout重定向到输出文件。