windows - 请推荐 Microsoft HPC 的替代方案-6ren

windows - 请推荐 Microsoft HPC 的替代方案

转载作者：可可西里更新时间：2023-11-01 13:23:19

25

4

<分区>

我们的目标是在集群上实现一个分布式系统，该系统将执行具有大量存储 I/O 的基于资源消耗的基于图像的计算，具有以下特点:

有一个专用的管理器计算机节点和最多 100 个计算节点。集群必须易于扩展。
它是围绕工作任务概念构建的。一个作业可能有 1 到 100,000 个任务。
由用户在管理器节点上启动的作业会导致在计算节点上创建任务。
任务会即时创建其他任务。
有些任务可能会运行几分钟，而其他任务可能需要几个小时。
任务根据依赖层次结构运行，可以动态更新。
作业可能会暂停并稍后恢复。
每项任务都需要 CPU(内核)、内存和本地硬盘空间等特定资源。经理在安排任务时应该意识到这一点。
任务将他们的进度和结果反馈给经理。
经理知道任务是存活还是挂起。

我们发现 Windows HPC Server 2008 (HPCS) R2 在概念上非常接近我们的需求。但是，也有一些严重的缺点:

随着任务数量的增加，任务的创建速度呈指数级下降。提交数千个以上的任务，时间上难以承受。
任务无法将其进度报告给经理，只有工作可以。
在任务运行期间没有与任务的通信，这使得无法检查任务是否正在运行或可能需要重新启动。
HPCS 只知道节点、CPU 内核和内存作为资源单元。我们不能引入我们自己的资源单元(如可用磁盘空间、自定义硬件设备等)。

这是我的问题:有没有人知道和/或有过可以帮助我们的分布式计算框架的经验？我们正在使用 Windows。

25

4

0

文章推荐： php - HTTP header 样式表

文章推荐： php - 在 php 中使用语句

文章推荐： php - 如何使用正则表达式将字符串拆分为二维数组？

c# - 测试使用 Microsoft HPC SOA API 编写的 HPC 服务
我如何才能在我的本地机器(显然是非 Windows Server 2012)上测试我使用 HPC Pack 2012R 的 Microsoft HPC SOA 服务 API 开发的 SOA 服务，然后
hpc - 租一个集群
我想知道是否有集群可供出租。设想: 我们有一个程序，它将花费我们估计的一周时间(优化后)在给定文件上运行。可能更长一些。不幸的是，我们还需要处理大约300多个不同的文件，从而导致大约300周的计算时
hpc - SLURM:由于抢占而取消的自动重新排队作业的标志？
我在 SLURM 上运行以下作业数组: #!/bin/bash #SBATCH --array=1-1000 #SBATCH --partition=scavenge #SBATCH --mem=2g
hpc - 在并行处理中更改 $TMPDIR
我在高性能计算系统上运行批处理作业来对对齐的读取进行排序，并使用 GNU parallel 来加速我的工作，但我的作业失败了，原因如下: parallel: Error: Output is inco
centos - HPC 计算节点未运行作业
我没有很多信息，所以请让我知道我可以做些什么来诊断这个。我的 HPC 有几个计算节点，我昨晚提交的一项作业在运行几个小时后暂停。我今天早上检查了qstat，发现自从我昨天上次检查以来，它没有任何进展
hpc - slurm 不通过电子邮件提供有效信息？
我用 #SBATCH --mail-type=end #SBATCH --mail-user=myemail@gmail.com 在我的 script.sh 中向我发送有关该工作的有效信息。但是我收到
hpc - Slurm:为什么在sbatch中使用srun？
在sbatch脚本中，您可以直接启动程序或脚本（例如，可执行文件myapp），但是在许多教程中，人们改用srun myapp。尽管阅读了有关该主题的一些文档，但我不了解它们的区别以及何时使用每种语法
hpc - Chapel 中的回调函数
我有以下教堂代码。 proc update(x: int(32)) { return 2*x; } proc dynamics(x: int(32)) { return update(x);
hpc - Snakemake:将多个作业集群在一起
我有一个非常简单的snakemake接受输入文件的管道会执行三个后续步骤来生成一个输出。每个单独的工作都非常快。现在我想将此管道应用于 SGE 集群上超过 10k 个文件。即使我使用 group要为每
haskell - 将测试覆盖率与 hpc 相结合
我发现 hpc 真的很令人困惑，即使在阅读了一些解释并玩了很多之后。我有一个图书馆 HML , 和两个测试套件 fileio-test和 types-test , 使用 HTF (我打算搬到 tas
hpc - 获取 PBS 作业队列的描述
是否有任何命令可以让我查询正在运行/排队的 PBS 作业的描述，了解其属性，例如 RAM、处理器数量、GPU 等？最佳答案使用qstat命令: qstat -f job_id 关于hpc - 获取
hpc - 同时执行多个 qsub 命令
我正在使用我部门的计算集群和 Sun Grid Engine。当我必须运行多个 R 作业时，我通常编写名称为 s01.sh、s02.sh、...、s50.sh 的 shell 脚本文件，其中包含“R
hpc - 获取 PBS 作业队列的描述
是否有任何命令可以让我查询正在运行/排队的 PBS 作业的描述，了解其属性，例如 RAM、处理器数量、GPU 等？最佳答案使用qstat命令: qstat -f job_id 关于hpc - 获取
hpc - 同时执行多个 qsub 命令
我正在使用我部门的计算集群和 Sun Grid Engine。当我必须运行多个 R 作业时，我通常编写名称为 s01.sh、s02.sh、...、s50.sh 的 shell 脚本文件，其中包含“R
hpc - 如何在 Chapel 中附加稀疏域
我正在使用读取 CSV 的循环填充 Chapel 中的稀疏数组。我想知道最好的模式是什么。 var dnsDom = {1..n_dims, 1..n_dims}; var spsDom: spar
java - NetLogo HPC 内存错误
#!/bin/bash #$ -N para_three #$ -q all.q #$ -pe mpi 30 /home/abhishekb/netlogo/netlogo-5.2.0/netlogo
java - HPC(主要基于 Java)
除了使用目标机器拥有的多核之外，我正在寻找某种方法来使用 GPU 的数字运算能力(也许是 Java？)。我将致力于实现(目前)A* 算法，但将来我希望用某种遗传算法代替它。我看过 Project Fo
c++ - Boost::HPC 侵入式
用于高性能计算的 boost::intrusive 库有多好？我想为不可复制的不可分配类使用一个容器。我打算用带有 shared_ptr 的普通 STL。我发现 boost::intrusive 也可
c - 基于隐式矢量化的 HPC 编程语言
是否有依赖于隐式矢量化的编程语言或语言扩展？我需要一些东西来做出积极的假设，以从标量 C 代码为 SSE4.1、AVX、AVX2(带或不带 FMA3/4)以单/ double 生成良好的 DLP/矢
mpi - PVM(并行虚拟机)库是否广泛用于 HPC？
每个人都迁移到 MPI(消息传递接口(interface))还是 PVM 仍然广泛用于 super 计算机和 HPC？最佳答案我的经验是 PVM 在高性能计算中没有被广泛使用。 MPI 似乎被广泛

首页

博学

6Ren·AI

商城

windows - 请推荐 Microsoft HPC 的替代方案