gpt4 book ai didi

linux - Shell脚本,并行和多线程?

转载 作者:塔克拉玛干 更新时间:2023-11-02 23:07:55 26 4
gpt4 key购买 nike

我有一个 shell 脚本,它实际上有文件/文件夹位置和运行 javascript 的命令。我在一个有 8 个处理器和每个处理器 4 个 CPU 内核的 linux 集群上运行这个作业。我想在多个处理器上运行它,同时每个作业访问多个线程以减少脚本的总运行时间。我的问题是:这样的事情可能吗?如果是,这个的命令或代码片段是什么?

最佳答案

您可以使用 GNU parallel .示例:

parallel "zcat {} | bzip2 >{.}.bz2 && rm {}" ::: *.gz

“这将使用 bzip2 重新压缩当前目录中名称以 .gz 结尾的所有文件,每个 CPU (-j+0) 并行运行一个作业。”


如果你没有并行,那么你可以通过几种方式推出你自己的协调器:

  1. 使用make -j
  2. 使用 bash 内置后台(&)

您可以使用 ssh 在远程机器上运行命令,您可以使用 nfs 或类似的网络存储。无论您如何做,您都需要考虑如何划分您的工作,以便它们能够合作,并根据需要合并结果。

关于linux - Shell脚本,并行和多线程?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30130745/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com