multithreading - perl 线程自分离

Question

我对 perl(以及编程)还很陌生，过去几周一直在玩线程，到目前为止，我知道不鼓励使用它们来执行一些类似的并行任务 - 如果你的内存消耗是无法控制的线程的数量取决于一些输入值，并且简单地限制该数量并进行一些临时连接似乎非常愚蠢。所以我试图欺骗线程通过队列返回一些值，然后分离这些线程(并且没有实际加入它们) - 这是一个并行 ping 的示例:

#!/usr/bin/perl
#

use strict;
use warnings;
use threads;
use NetAddr::IP;
use Net::Ping;
use Thread::Queue;
use Thread::Semaphore;
########## get my IPs from CIDR-notation #############
my @ips;
for my $cidr (@ARGV) {
    my $n = NetAddr::IP->new($cidr);
    foreach ( @{ $n->hostenumref } ) {
        push @ips, ( split( '/', $_ ) )[0];
    }
}

my $ping      = Net::Ping->new("icmp");
my $pq        = Thread::Queue->new( @ips, undef );    # ping-worker-queue
my $rq        = Thread::Queue->new();                 # response queue
my $semaphore = Thread::Semaphore->new(100);          # I hoped this may be usefull to limit # of concurrent threads

while ( my $phost = $pq->dequeue() ) {
    $semaphore->down();
    threads->create( { 'stack_size' => 32 * 4096 }, \&ping_th, $phost );
}

sub ping_th {
    $rq->enqueue( $_[0] ) if $ping->ping( $_[0], 1 );
    $semaphore->up();
    threads->detach();
}

$rq->enqueue(undef);

while ( my $alive_ip = $rq->dequeue() ) {
    print $alive_ip, "\n";
}

我找不到关于threads->detach() 应该如何在线程子例程中工作的完整描述，并认为这可能会起作用......而且确实如此 - 如果我在主程序(线程) 延长了它的生命周期( sleep 很好)，所以所有分离的线程都完成并将它们的部分排入我的 $rq，否则它会运行一些线程将它们的结果收集到队列并退出，并发出如下警告:

Perl exited with active threads:
    5 running and unjoined
    0 finished and unjoined
    0 running and detached

让主程序“休眠”一段时间，再一次，看起来很傻 - 有没有办法让线程只在实际的线程 -> detach() 调用之后才完成它们的工作并分离？到目前为止，我的猜测是，一旦创建线程，子内的线程->分离()就会应用，所以这不是方法。我用 CentOS 的老版本 v5.10.1 试了一下。这是否应该随着现代 v5.16 或 v5.18(使用线程编译)而改变？

Answer 1

分离线程并不是特别有用，因为您实际上是在说“我不在乎它们何时退出”。

这通常不是您想要的 - 您的进程正在完成，线程仍在运行。

一般来说 - 创建线程有开销，因为您的进程是在内存中克隆的。你想避免这样做。 Thread::Queue 也很好用，因为它是一种线程安全的信息传输方式。在您的代码中，$pq 实际上并不需要它，因为您实际上并没有在使用它的地方进行线程化。

您的信号量是一种方法，但我可以建议作为替代方法吗:

#!/usr/bin/perl
use strict;
use warnings;
use Thread::Queue;

my $nthreads = 100;

my $ping_q = Thread::Queue -> new(); 
my $result_q = Thread::Queue -> new(); 

sub ping_host {
     my $pinger = Net::Ping->new("icmp");
     while ( my $hostname = $ping_q -> dequeue() ) {
         if ( $pinger -> ping ( $hostname, 1 ) ) { 
              $result_q -> enqueue ( $hostname ); 
         }
     }
}

#start the threads

for ( 1..$nthreads ) {
     threads -> create ( \&ping_host );
}

#queue the workload
$ping_q -> enqueue ( @ip_list );

#close the queue, so '$ping_q -> dequeue' returns undef, breaking the while loop. 

$ping_q -> end();

#wait for pingers to finish.
foreach my $thr ( threads -> list() ) {
   $thr -> join();
}
$results_q -> end();

#collate results
while ( my $successful_host = $results_q -> dequeue_nb() ) {
    print $successful_host, "\n"; 
}

通过这种方式，您可以预先生成线程、对目标进行排队，然后在完成后整理结果。您不会因重复重生线程而产生开销，并且您的程序将等待所有线程完成。这可能需要一段时间，因为“关闭”主机上的 ping 超时将是相当长的一段时间。