个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
26
4
我想知道是否有任何 perl 模块可用于启用类似于 apache hadoop 的分布式并行计算。
例子，提交给客户端节点时在多台机器上并行执行的 perl 脚本。
最佳答案
我是 Perl 众核引擎的作者。
在接下来的几个周末，我会去MCE与Gearman::XS一起旋转. MCE 擅长最大化给定节点上的可用内核。 Gearman 擅长作业分配，并包含负载均衡等许多功能。将两者结合在一起是我跨多个节点水平扩展 MCE 的想法。 :) 直到现在我才与任何人分享这个消息。
为什么这两个模块很合适(我的愚见):
对于分发，需要某种分块引擎。 MCE 是一个分块引擎——所以分解输入对 MCE 来说是很自然的。本质上，MCE 可以用在双方，作业提交主机以及工作节点上，以最大限度地利用可用内核。
对于工作节点，MCE 在处理输入数据时遵循银行排队模型。这有助于确保所有 CPU 从作业开始到结束都保持忙碌。当工作人员空闲下来时，剩余的“工作人员”正在处理他们的最后一 block 。
人的想象力是无限的——这两个模块一起工作有很多可能性。在写MCE的时候，我首先关注的是节点端。接下来显然是工作分配，我进行了搜索，发现了 Gearman::XS。这 2 个模块可以愉快地组合在一起 :) 作业分发端(更大的 block )，一次在节点上(更小的 block )。所有网络事务均由 Gearman 处理。
基本上，当 Gearman::XS 已经相当不错时，我不需要编写作业分配方面。这一直是我的计划。我很快就会写关于 Gearman::XS + MCE 的文章。
顺便说一句:我想人们可以使用 GRID-Machine + MCE 做类似的事情。 MCE 的优点在于最大化任何给定节点上的所有可用内核。
关于 MCE 的另一个神奇之处在于，例如，人们可能不希望 200 个节点 * 16 个工作人员都从/向 NFS 服务器读取/写入。这将极大地影响 NFS 服务器。顺便说一句:RHEL 6.4 将包括 pNFS(并行 NFS)。使用 MCE，工作人员可以调用“do”方法来序列化来自 NFS 的写入/读取。因此，不是 200 * 16 = 3200 次攻击 NFS，而是在任何给定时间(每个物理节点 1 个)对 NFS 服务器的最大请求只有 200 个。
在写MCE的时候，grace可以应用到很多场景。我需要向 MCE 的主页添加更多 wiki MCE at code.google.com .此外，MCE 吃早餐的日志文件非常大 :) 查看 examples 下的 egrep.pl 和 wc.pl。目录。它甚至击败了具有顺序 IO 的 wide finder 项目(许多 worker 中强大的 slurp IO)。
查看 images包含在 MCE 发行版中。哦，别忘了查看主Gearman网站也是如此。
这之后还剩下什么？嗯，网片。想到的一个想法是使用 Mojo .有很多选择。这只是一个:
Gearman::XS + MCE + Mojolicious
同样，如果想通过 SSH 进行通信，可以使用 GRID-Machine 而不是 Gearman::XS。
无论如何，我计划使用一个已经可用的工作分配模块。对于 MCE，我的重点是最大化单个节点上的性能——包括分块、序列化、银行排队模型、用户任务(允许多个角色)、工作人员之间的编号排序和顺序 slurp IO。
-- 马里奥
关于Perl分布式并行计算，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/14893851/
26
4
0
如果我的 Perl 程序使用 Perl 模块，它将如何确定在哪里可以找到包含模块代码的文件？ 例如，如果程序包含: use MyModule1; # Example 1 us
我在一个文件中有一些不同格式的数字:8.3、0.001、9e-18。我正在寻找一种简单的方法来读取它们并存储它们而不会损失任何精度。这在 AWK 中很容易，但在 Perl 中是如何完成的呢？我只愿意使
我在一个文件中有一些不同格式的数字:8.3、0.001、9e-18。我正在寻找一种简单的方法来读取它们并存储它们而不会损失任何精度。这在 AWK 中很容易，但在 Perl 中是如何完成的呢？我只愿意使
我正在自学 Perl，并且在我的 Windows 8 64 位系统上安装了 Strawberry。 Strawberry 命令行似乎工作正常，我在 C 驱动器上的 Strawberry 文件夹中创建了
我在 Perl 模块 IO::Socket::SSL 中发现了一个错误，我可能会修复它，但是，我担心测试修复。我从 Debian 下载了源码包(因为我打算为它制作一个 Debian 包或补丁)并查看了
我有一个 perl 文件，它使用了两个 perl 模块 A.pm 和 B.pm。 但是在 B.pm 中我需要调用 A.pm 的子程序。即使我在 A.pm 中使用并尝试使用它，我仍然遇到未定义的错误。
有没有办法在 Perl 运行时加载整个模块？我原以为我用 autouse 找到了一个很好的解决方案，但以下代码无法编译: package tryAutouse2; use autouse 'tryAu
过去，我编写过许多 perl 模块，以及不止一些独立的 perl 程序，但我之前从未发布过多文件 perl 程序。 我有一个几乎处于 beta 阶段的 perl 程序，它将被开源发布。它需要一些数据文
我有 1 个 perl 脚本，我们在其中编写了几个子例程。例子: # Try_1.pl main(); sub main{ --- --- check(); } check { -- --} 现在，
似乎 CPAN 上的一些(很多？)模块部分是使用 XS 在 C 中实现的，如果需要，可以回退到纯 perl 实现。虽然这很聪明，但它显然会损害性能，我想知道它是否会发生，以便我可以解决问题。 有没有一
我对 perl 很陌生。我希望我可以从 perl 安装一些软件包，我这样做是这样的: perl -MCPAN -e 'install VM::EC2' 我猜它由于依赖而失败，它显示: Result:
给定一个 Perl 包 Foo.pm，例如 package Foo; use strict; sub bar { # some code here } sub baz { # more
我有一个用 Perl 编写的测试生成器。它生成连接到模拟器的测试。这些测试本身是用 Perl 编写的，并通过其 API 连接到模拟器。我希望生成的代码是人类可读的，这意味着我希望它能够正确缩进和格式化
我正在学习 Perl，非常新的用户。我可以知道这些 Perl 代码之间有什么区别吗？ #!/usr/bin/perl & #!/usr/bin/perl -w 最佳答案 那不是 perl 代码，它是
我不认为这是一个重复的问题。这专门针对 Perl 模块附带的脚本。 通常，在安装多个 Perl 版本时，您可以将 perl 可执行文件标记为版本号 (perl5.32)，这样它们就可以在 /whate
我有一个在文件中使用 Blowfish 加密的程序和第二个 perl 程序，它提示输入用于将其解密为字符串的密码，我希望不必将解密的源代码写入硬盘驱动器，尽管将它放在内存中并不是真正的问题，因为运行程
有没有人为 Perl 中的惰性求值列表找到了一个好的解决方案？我尝试了很多方法来改变类似的东西 for my $item ( map { ... } @list ) { } 进入懒惰的评估——例如，通
我安装了多个版本的 Perl。 我已经指定了要使用的版本。但是为了验证，我想从 .pl 脚本本身输出 Perl 的版本。 这可能吗？ 在 Perl 脚本中解析“perl --version”的输出似乎
人们还经常问“我怎样才能编译 Perl？”而他们真正想要的是创建一个可以在机器上运行的可执行文件，即使他们没有安装 Perl。 我知道有几种解决方案: perl2exe靛蓝之星 它是商业的。我从未尝试
关闭。这个问题是opinion-based .它目前不接受答案。 想改进这个问题？更新问题，以便 editing this post 可以用事实和引用来回答它. 8年前关闭。 Improve this
我是一名优秀的程序员,十分优秀！