perl - 保存内容时 LWP::UserAgent 内存使用情况-6ren

perl - 保存内容时 LWP::UserAgent 内存使用情况

转载作者：行者123 更新时间：2023-12-04 21:04:19

编辑:下面的问题是在 AWS ec2 微实例上的股票 Perl 5.16.3 上产生的。最终通过使用 perlbrew 安装并切换到 Perl 5.24.3 来解决。
LWP::UserAgent 在保存内容时似乎会导致某种内存泄漏。

use v5.10;
use strict;
use warnings;

use IO::Socket::SSL;
use LWP::UserAgent;
use Memory::Usage;
use Time::HiRes 'usleep';

my $ua = LWP::UserAgent->new;
my $mu = Memory::Usage->new;
$ua->ssl_opts(SSL_ocsp_mode => SSL_OCSP_NO_STAPLE); ## disable OCSP stapling
for (1..50) {
    $mu->record("before request: $_");
    $ua->get('http://www.wikipedia.org/wiki/Special:Random', ':content_file' => 'temp.html');
    usleep 50000;
}

$mu->dump();

输出:

  time    vsz (  diff)    rss (  diff) shared (  diff)   code (  diff)   data (  diff)
     0  213964 ( 213964)  25112 ( 25112)   7532 (  7532)      8 (     8)  17976 ( 17976) before request: 1
     0  225744 ( 11780)  31428 (  6316)   8120 (   588)      8 (     0)  23580 (  5604) before request: 2
     0  226824 (  1080)  32500 (  1072)   8120 (     0)      8 (     0)  24660 (  1080) before request: 3
     0  227920 (  1096)  33596 (  1096)   8120 (     0)      8 (     0)  25756 (  1096) before request: 4
     0  229016 (  1096)  34692 (  1096)   8120 (     0)      8 (     0)  26852 (  1096) before request: 5
     1  230112 (  1096)  35784 (  1092)   8120 (     0)      8 (     0)  27948 (  1096) before request: 6
     1  231204 (  1092)  36880 (  1096)   8120 (     0)      8 (     0)  29040 (  1092) before request: 7
     1  232296 (  1092)  37968 (  1088)   8120 (     0)      8 (     0)  30132 (  1092) before request: 8
     1  233388 (  1092)  39060 (  1092)   8120 (     0)      8 (     0)  31224 (  1092) before request: 9
     1  234484 (  1096)  40152 (  1092)   8120 (     0)      8 (     0)  32320 (  1096) before request: 10
     1  235572 (  1088)  41248 (  1096)   8120 (     0)      8 (     0)  33408 (  1088) before request: 11
     2  236668 (  1096)  42344 (  1096)   8120 (     0)      8 (     0)  34504 (  1096) before request: 12
     2  237764 (  1096)  43440 (  1096)   8120 (     0)      8 (     0)  35600 (  1096) before request: 13
     2  238864 (  1100)  44536 (  1096)   8120 (     0)      8 (     0)  36700 (  1100) before request: 14
     2  239956 (  1092)  45632 (  1096)   8120 (     0)      8 (     0)  37792 (  1092) before request: 15
     2  241044 (  1088)  46720 (  1088)   8120 (     0)      8 (     0)  38880 (  1088) before request: 16
     3  242140 (  1096)  47816 (  1096)   8120 (     0)      8 (     0)  39976 (  1096) before request: 17
     3  243240 (  1100)  48916 (  1100)   8120 (     0)      8 (     0)  41076 (  1100) before request: 18
     3  244336 (  1096)  50008 (  1092)   8120 (     0)      8 (     0)  42172 (  1096) before request: 19
     3  245428 (  1092)  51096 (  1088)   8120 (     0)      8 (     0)  43264 (  1092) before request: 20
     3  246516 (  1088)  52196 (  1100)   8120 (     0)      8 (     0)  44352 (  1088) before request: 21
     4  247612 (  1096)  53288 (  1092)   8120 (     0)      8 (     0)  45448 (  1096) before request: 22
     4  248704 (  1092)  54380 (  1092)   8120 (     0)      8 (     0)  46540 (  1092) before request: 23
     4  249796 (  1092)  55476 (  1096)   8120 (     0)      8 (     0)  47632 (  1092) before request: 24
     4  250892 (  1096)  56568 (  1092)   8120 (     0)      8 (     0)  48728 (  1096) before request: 25
     4  251988 (  1096)  57660 (  1092)   8120 (     0)      8 (     0)  49824 (  1096) before request: 26
     4  253076 (  1088)  58752 (  1092)   8120 (     0)      8 (     0)  50912 (  1088) before request: 27
     5  254168 (  1092)  59852 (  1100)   8120 (     0)      8 (     0)  52004 (  1092) before request: 28
     5  255272 (  1104)  60940 (  1088)   8120 (     0)      8 (     0)  53108 (  1104) before request: 29
     5  256360 (  1088)  62036 (  1096)   8120 (     0)      8 (     0)  54196 (  1088) before request: 30
     5  257456 (  1096)  63132 (  1096)   8120 (     0)      8 (     0)  55292 (  1096) before request: 31
     5  258556 (  1100)  64236 (  1104)   8120 (     0)      8 (     0)  56392 (  1100) before request: 32
     6  259652 (  1096)  65324 (  1088)   8120 (     0)      8 (     0)  57488 (  1096) before request: 33
     6  260740 (  1088)  66416 (  1092)   8120 (     0)      8 (     0)  58576 (  1088) before request: 34
     6  261832 (  1092)  67504 (  1088)   8120 (     0)      8 (     0)  59668 (  1092) before request: 35
     6  262928 (  1096)  68600 (  1096)   8120 (     0)      8 (     0)  60764 (  1096) before request: 36
     6  264016 (  1088)  69692 (  1092)   8120 (     0)      8 (     0)  61852 (  1088) before request: 37
     7  265120 (  1104)  70796 (  1104)   8120 (     0)      8 (     0)  62956 (  1104) before request: 38
     7  266212 (  1092)  71888 (  1092)   8120 (     0)      8 (     0)  64048 (  1092) before request: 39
     7  267304 (  1092)  72980 (  1092)   8120 (     0)      8 (     0)  65140 (  1092) before request: 40
     7  268396 (  1092)  74072 (  1092)   8120 (     0)      8 (     0)  66232 (  1092) before request: 41
     7  269484 (  1088)  75168 (  1096)   8120 (     0)      8 (     0)  67320 (  1088) before request: 42
     7  270584 (  1100)  76260 (  1092)   8120 (     0)      8 (     0)  68420 (  1100) before request: 43
     8  271676 (  1092)  77356 (  1096)   8120 (     0)      8 (     0)  69512 (  1092) before request: 44
     8  272776 (  1100)  78448 (  1092)   8120 (     0)      8 (     0)  70612 (  1100) before request: 45
     8  273868 (  1092)  79540 (  1092)   8120 (     0)      8 (     0)  71704 (  1092) before request: 46
     8  274964 (  1096)  80632 (  1092)   8120 (     0)      8 (     0)  72800 (  1096) before request: 47
     8  276052 (  1088)  81728 (  1096)   8120 (     0)      8 (     0)  73888 (  1088) before request: 48
     9  277144 (  1092)  82816 (  1088)   8120 (     0)      8 (     0)  74980 (  1092) before request: 49
     9  278232 (  1088)  83912 (  1096)   8120 (     0)      8 (     0)  76068 (  1088) before request: 50

Perl 版本是 5.16.3 ；以下模块版本使用 cpan -D

CPAN: Module::CoreList loaded ok (v5.20170923)
(no description)
S/SU/SULLR/IO-Socket-SSL-2.056.tar.gz
/home/ec2-user/perl5/lib/perl5/IO/Socket/SSL.pm
Installed: 2.056
CPAN:      2.056  up to date
Steffen Ullrich (SULLR)
Steffen_Ullrich@genua.de

...

CPAN: Module::CoreList loaded ok (v5.20170923)
(no description)
M/MI/MIKEM/Net-SSLeay-1.85.tar.gz
/home/ec2-user/perl5/lib/perl5/x86_64-linux-thread-multi/Net/SSLeay.pm
Installed: 1.85
CPAN:      1.85  up to date
Mike McCauley (MIKEM)
mikem@airspayce.com

...

CPAN: Module::CoreList loaded ok (v5.20170923)
(no description)
O/OA/OALDERS/libwww-perl-6.33.tar.gz
/home/ec2-user/perl5/lib/perl5/LWP/UserAgent.pm
Installed: 6.33
CPAN:      6.33  up to date
Olaf Alders (OALDERS)
olaf@wundersolutions.com

...

CPAN: Module::CoreList loaded ok (v5.20170923)
(no description)
O/OA/OALDERS/LWP-Protocol-https-6.07.tar.gz
/home/ec2-user/perl5/lib/perl5/LWP/Protocol/https.pm
Installed: 6.07
CPAN:      6.07  up to date
Olaf Alders (OALDERS)
olaf@wundersolutions.com

最佳答案

如果目标站点使用 OCSP 装订，则 OCSP 处理中存在内存泄漏(仅在这种情况下，默认情况下会进行吊销检查)。 Net::SSLeay1 1.83 中修复了该区域的第一个泄漏。但是我发现了第二次泄漏，尽管有补丁可用(几分钟后)，但尚未修复。见 issue 125273有关问题和补丁的详细信息。

也可以通过禁用 OCSP 装订来解决此问题:

use IO::Socket::SSL;
use LWP::UserAgent;
my $ua = LWP::UserAgent->new;
$ua->ssl_opts(SSL_ocsp_mode => SSL_OCSP_NO_STAPLE); ## disable OCSP stapling
$ua->get('http://www.wikipedia.org', ':content_file' => 'save.txt') for 0..500;

1 Net::SSLeay 是 IO::Socket::SSL 的底层库，它本身为 LWP 提供 SSL 功能。

关于perl - 保存内容时 LWP::UserAgent 内存使用情况，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/50164199/

文章推荐： vb.net - 从excel导入数据并合并

文章推荐： wpf - WPF的Microsoft功能区与Infragistics功能区

perl - Perl 程序如何知道在哪里可以找到包含它使用的 Perl 模块的文件？
如果我的 Perl 程序使用 Perl 模块，它将如何确定在哪里可以找到包含模块代码的文件？例如，如果程序包含: use MyModule1; # Example 1 us
perl - 在不损失精度的情况下在 perl 中读取和存储数字 (Perl)
我在一个文件中有一些不同格式的数字:8.3、0.001、9e-18。我正在寻找一种简单的方法来读取它们并存储它们而不会损失任何精度。这在 AWK 中很容易，但在 Perl 中是如何完成的呢？我只愿意使
perl - 在不损失精度的情况下在 perl 中读取和存储数字 (Perl)
我在一个文件中有一些不同格式的数字:8.3、0.001、9e-18。我正在寻找一种简单的方法来读取它们并存储它们而不会损失任何精度。这在 AWK 中很容易，但在 Perl 中是如何完成的呢？我只愿意使
perl - 'perl' 不被识别为外部或内部命令 *帮助配置草莓 perl!*
我正在自学 Perl，并且在我的 Windows 8 64 位系统上安装了 Strawberry。 Strawberry 命令行似乎工作正常，我在 C 驱动器上的 Strawberry 文件夹中创建了
perl - 开发 Perl 和测试 Perl
我在 Perl 模块 IO::Socket::SSL 中发现了一个错误，我可能会修复它，但是，我担心测试修复。我从 Debian 下载了源码包(因为我打算为它制作一个 Debian 包或补丁)并查看了
perl - 如何从一个 perl 模块调用子程序到另一个 perl 模块？
我有一个 perl 文件，它使用了两个 perl 模块 A.pm 和 B.pm。但是在 B.pm 中我需要调用 A.pm 的子程序。即使我在 A.pm 中使用并尝试使用它，我仍然遇到未定义的错误。
perl - 在 Perl 运行时自动加载 perl 模块
有没有办法在 Perl 运行时加载整个模块？我原以为我用 autouse 找到了一个很好的解决方案，但以下代码无法编译: package tryAutouse2; use autouse 'tryAu
perl - 与 Perl 模块相比，Perl 程序是否有标准或最佳实践？
过去，我编写过许多 perl 模块，以及不止一些独立的 perl 程序，但我之前从未发布过多文件 perl 程序。我有一个几乎处于 beta 阶段的 perl 程序，它将被开源发布。它需要一些数据文
perl - 从不同的 perl 脚本访问 perl 子例程
我有 1 个 perl 脚本，我们在其中编写了几个子例程。例子: # Try_1.pl main(); sub main{ --- --- check(); } check { -- --} 现在，
perl - 阻止 Perl XS 模块默默地退回到纯 perl
似乎 CPAN 上的一些(很多？)模块部分是使用 XS 在 C 中实现的，如果需要，可以回退到纯 perl 实现。虽然这很聪明，但它显然会损害性能，我想知道它是否会发生，以便我可以解决问题。有没有一
perl - 在 perl 中自动安装 perl 依赖项
我对 perl 很陌生。我希望我可以从 perl 安装一些软件包，我这样做是这样的: perl -MCPAN -e 'install VM::EC2' 我猜它由于依赖而失败，它显示: Result:
perl - 如何编写 Perl 脚本来提取 Perl 包中每个子程序的源代码？
给定一个 Perl 包 Foo.pm，例如 package Foo; use strict; sub bar { # some code here } sub baz { # more
perl - 如何美化 Perl 生成的 Perl 代码？
我有一个用 Perl 编写的测试生成器。它生成连接到模拟器的测试。这些测试本身是用 Perl 编写的，并通过其 API 连接到模拟器。我希望生成的代码是人类可读的，这意味着我希望它能够正确缩进和格式化
perl - "perl"和 "perl -w"之间的区别？
我正在学习 Perl，非常新的用户。我可以知道这些 Perl 代码之间有什么区别吗？ #!/usr/bin/perl & #!/usr/bin/perl -w 最佳答案那不是 perl 代码，它是
perl - 如何使用多个版本的 Perl 在 Perl 模块中安装脚本？
我不认为这是一个重复的问题。这专门针对 Perl 模块附带的脚本。通常，在安装多个 Perl 版本时，您可以将 perl 可执行文件标记为版本号 (perl5.32)，这样它们就可以在 /whate
perl - 从 Perl 中的字符串执行整个 perl 程序
我有一个在文件中使用 Blowfish 加密的程序和第二个 perl 程序，它提示输入用于将其解密为字符串的密码，我希望不必将解密的源代码写入硬盘驱动器，尽管将它放在内存中并不是真正的问题，因为运行程
perl - Perl 6 的这一侧是否有针对惰性列表的 Perl 解决方案？
有没有人为 Perl 中的惰性求值列表找到了一个好的解决方案？我尝试了很多方法来改变类似的东西 for my $item ( map { ... } @list ) { } 进入懒惰的评估——例如，通
perl - 如何从 perl 脚本本身打印出正在运行的 perl 版本？
我安装了多个版本的 Perl。我已经指定了要使用的版本。但是为了验证，我想从 .pl 脚本本身输出 Perl 的版本。这可能吗？在 Perl 脚本中解析“perl --version”的输出似乎
perl - 如何打包我的 Perl 脚本以在没有 Perl 的机器上运行？
人们还经常问“我怎样才能编译 Perl？”而他们真正想要的是创建一个可以在机器上运行的可执行文件，即使他们没有安装 Perl。我知道有几种解决方案: perl2exe靛蓝之星它是商业的。我从未尝试
perl - 什么是对非 Perl 开发人员的有效 Perl 培训？
关闭。这个问题是opinion-based .它目前不接受答案。想改进这个问题？更新问题，以便 editing this post 可以用事实和引用来回答它. 8年前关闭。 Improve this

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

perl - 保存内容时 LWP::UserAgent 内存使用情况