perl - 为 perl 脚本添加并行性

Question

我有一个小的 Perl 脚本，它从 mongoDB 获取服务详细信息，查询其状态并提供 html 输出

#...some stuff to get $token

my @cmd = ('/opt/mongo/bin/mongo', '127.0.0.1:27117/service_discovery', '--quiet', '-u', 'xxx', '-p', 'xxx', '--eval', "var environ='$env'; var action='status'", '/home/mongod/www/cgi/getstatus.js');
my $mongo_out;
run \@cmd, '>>', \$mongo_out;
$json->incr_parse ($mongo_out);
while (my $obj = $json->incr_parse) {
    my $hostname = "$obj->{'hostname'}";
    print "<tr><td colspan=4 align=\"center\"><h4>$hostname</h4></td></tr>";
    foreach my $service (@{$obj->{'services'}}) {
            my $name = "$service->{'name'}";
            my $port = "$service->{'port'}";
            my $proto = "$service->{'proto'}";
            my $request = HTTP::Request->new(GET => "${proto}://$hostname:${port}/status/service");
            $request->header(Authorization => "Bearer $token");
            my $ua = LWP::UserAgent->new;
            $ua->timeout(2);
            my $response = $ua->request($request);
            my $code = $response->code();
            if ($code == 200) {
                    my $var = %$response->{'_content'};
                    my $coder = JSON::XS->new->ascii->pretty->allow_nonref;
                    my $out = try {my $output = $coder->decode($var)} catch {undef};
                    if(exists $out->{'name'} && exists $out->{'version'}) {
                            print "<tr><td align=\"center\">$port</td><td align=\"center\">$name</td><td align=\"center\">$out->{'name'}</td><td align=\"center\">$out->{'version'}</td></tr>";
                    } else {
                            print "<tr><td align=\"center\">$port</td><td align=\"center\">$name</td><td colspan=2 align=\"center\">auth failed</td></tr>";
                    }
            } elsif ($code == 500) {
                            print "<tr><td align=\"center\">$port</td><td align=\"center\">$name</td><td colspan=2 align=\"center\">offline</td></tr>";
            } elsif ($code == 404) {
                    print "<tr><td align=\"center\">$port</td><td align=\"center\">$name</td><td colspan=2 align=\"center\">page not found</td></tr>";
            }
    }
}

它会执行一段时间，特别是当某些服务离线时。是否可以同时查询同一主机内的服务？

Answer 1

这几乎是一个过于宽泛而无法回答的问题，因为......这取决于情况。

但是是的。 Perl 中有两个半并行机制:

• 线程
• fork
• 非阻塞 IO。

我说两个半，因为非阻塞 IO 并不是真正的并行，就像以不同的方式解决相同的问题一样。

并行性的实现是一种非常好的方法，可以避免一些可怕且难以追踪的错误，并且需要稍微改变思维方式，因为您的代码不再以明确定义的顺序执行 - 重点是是您的代码可能在不同的时间遇到​​不同的位，并且可能导致彻底的困惑。

尤其是因为您导入的模块很可能不是“线程安全的”(这意味着它们可能没问题，但偶尔会以一种非常不可预测的方式损坏，并且您会费尽心思试图追踪漏洞)。

考虑到这一点

线程

如果您使用过另一种语言的线程，也许与直觉略有相反 - perl 线程并不是轻量级的。启动它们会产生巨大的成本，尤其是因为您实际上最终会将内存占用量乘以正在运行的线程数。

我通常会建议结果 - 使用Thread::Queue查看“工作线程”模型。您启动多个线程，并使用队列来序列化线程的输入和输出。

fork

fork() 是一个 Unix native 系统调用。你经常使用它，而且非常有效。它将您的程序分成两个相同的副本 - 包括代码中的位置 - 在调用它的位置。最初唯一的区别是 fork() 系统调用的返回代码 - 父级将获取子级的进程 ID，子级将获取零。

很容易意外地做出奇怪的事情，因为此时的两段代码在循环迭代、文件句柄等方面都处于完全相同的点。但这很快就会发散，您可以再次得到一些结果如果您与“共享”资源交互，就会发生非常奇怪的事情。

我通常建议查看 Parallel::ForkManager 模块，作为避免被 fork() 绊倒的简单方法。

非阻塞IO

您通常可以使用诸如 IO::Select 和 can_read 方法，该方法会检测哪些文件句柄在您读取数据时将被阻止 - 您可以跳过该句柄，直到阻塞为止。这也适用于您的用例，尽管它并不总是适用。

我在这里有上述两个示例:Perl daemonize with child daemons