- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
在处理矩阵的并行分解时,我熟悉 block 分布,其中我们有(比如说)4 个进程,每个进程都有自己的矩阵子区域:
例如,我们的行中的进程数 (procrows
) 等于 2,列中的进程数 (proccols
) 也等于两个,如果原始矩阵大小为 N x M
,则子矩阵 A_local
的大小将为 N/2 x M/2
。
我正在读这篇文章example它使用“ block 循环”分布,在这部分中:
/* Begin Cblas context */
/* We assume that we have 4 processes and place them in a 2-by-2 grid */
int ctxt, myid, myrow, mycol, numproc;
int procrows = 2, proccols = 2;
Cblacs_pinfo(&myid, &numproc);
Cblacs_get(0, 0, &ctxt);
Cblacs_gridinit(&ctxt, "Row-major", procrows, proccols);
它们有 procrows
和 proccols
是硬编码的,很好,但是对于读入的矩阵,有一个标题:
Nb and Mb will be the number of rows and columns of the blocks [of the matrix]
我不明白这个; Nb
和 Mb
不是完全由 N、M、procrows 和 proccols 决定吗?
编辑
通过运行示例,我可以看到进程 0 上的子矩阵具有矩阵左上角的所有元素,就像上面的图片一样,这与乔纳森的答案相矛盾。不过,它与 ScaLAPACK 的 Cholesky 配合得很好。
最佳答案
正如您在问题中所描述的那样,矩阵的 block 分解是一种完全有效的分配矩阵的方法,但这并不是唯一的方法。
特别是, block 数据分布(将矩阵分解为 procrows x process
子矩阵)有点不灵活。如果矩阵大小不能被行或列中的进程数整除 - 通常您无法控制矩阵的大小,并且只能使用 procrows/proccols 进行一些灵 active - 您最终可能会遇到严重的负载平衡问题。另外,有时能够“过度分解”问题也非常方便;将其分解为比您的任务更多的部分。特别是,对于 MPI,由于每个任务都是一个进程,因此有时能够为每个进程提供多个要操作的子矩阵很有用,这样您就可以通过线程处理这种额外级别的并行性(大多数任务都内置了线程)。单进程线性代数库)。
获得最大负载平衡灵 active 以及最高程度的可用进程间并行性的方法是纯粹的循环分布。在一维循环分布中,假设在 4 个处理器之间划分 15 个项目,处理器 1 将获得项目 1,处理器 2 将获得项目 2,3 将获得项目 3,4 将获得项目 4,然后处理器 1 将获得项目 5,依此类推在;您可以在处理器之间循环处理项目。
另一方面,在一维 block 分解中,处理器 1 将获得项目 1-4,处理器 2 将获得项目 5-9,依此类推。
来自有用的数字LLNL parallel computing tutorial接下来,用每种颜色标记哪个处理器获得了数据区域:
因此,循环分解对于并行性和负载平衡来说是最大的好处,但对于数据访问来说却是糟糕;您希望能够访问以进行线性代数运算的每条相邻数据都位于处理器外。另一方面, block 分解最大限度地有利于数据访问;您拥有尽可能大的连续数据 block ,因此您可以对漂亮的大子矩阵进行矩阵运算;但它的并行性不灵活,并且会在负载平衡方面产生成本。
Block-Cyclic是两者之间的插值;您将矩阵过度分解为 block ,并在进程之间循环分配这些 block 。这使您可以调整数据访问连续性和灵 active 之间的权衡。如果 block -循环 block 大小为 1,则为循环分布;如果它们是 N/procrows
或 N/proccols
你有一个 block 分布;但您也可以选择介于两者之间的任何内容。
请注意,在 2D 中,原则上您可以沿行和列选择不同的分解,有时,如果您的矩阵仅用于一种计算,这会很有用;但更常见的情况是所有维度上的分解都是相同的,因此当人们说“ block 分解”或“ block 循环分解”时,他们通常意味着沿着所有维度。
Scalapack pages at netlib对此有很好的描述。 .
关于matrix - 了解 block 和 block 循环矩阵分布,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31076953/
我开始在 Ethereum blockchain 上了解如何开发智能合约以及如何写 web-script用于与智能合约交互(购买、销售、统计......)我得出了该怎么做的结论。我想知道我是否正确理解
我正在 UIView 中使用 CATransform3DMakeRotation,并且我正在尝试进行 45º,变换就像向后放置一样: 这是我拥有的“代码”,但显然没有这样做。 CATransform3
我目前正在测试 WebRTC 的功能,但我有一些脑逻辑问题。 WebRTC 究竟是什么? 我只读了“STUN”、“P2P”和其他...但是在技术方面什么是正确的 WebRTC(见下一个) 我需要什么
我在看 DelayedInit在 Scala in Depth ... 注释是我对代码的理解。 下面的 trait 接受一个非严格计算的参数(由于 => ),并返回 Unit .它的行为类似于构造函数
谁能给我指出一个用图片和简单的代码片段解释 WCF 的资源。我厌倦了谷歌搜索并在所有搜索结果中找到相同的“ABC”文章。 最佳答案 WCF 是一项非常复杂的技术,在我看来,它的文档记录非常少。启动和运
我期待以下 GetArgs.hs打印出传递给它的参数。 import System.Environment main = do args main 3 4 3 :39:1: Coul
private int vbo; private int ibo; vbo = glGenBuffers(); ibo = glGenBuffers(); glBindBuffer(GL_ARRAY_
我正在尝试一个 for 循环。我添加了一个 if 语句以在循环达到 30 时停止循环。 我见过i <= 10将运行 11 次,因为循环在达到 10 次时仍会运行。 如果有设置 i 的 if 语句,为什
我正在尝试了解 WSGI 的功能并需要一些帮助。 到目前为止,我知道它是一种服务器和应用程序之间的中间件,用于将不同的应用程序框架(位于服务器端)与应用程序连接,前提是相关框架具有 WSGI 适配器。
我是 Javascript 的新手,我正在尝试绕过 while 循环。我了解它们的目的,我想我了解它们的工作原理,但我在使用它们时遇到了麻烦。 我希望 while 值自身重复,直到两个随机数相互匹配。
我刚刚偶然发现Fabric并且文档并没有真正说明它是如何工作的。 我有根据的猜测是您需要在客户端和服务器端都安装它。 Python 代码存储在客户端,并在命令运行时通过 Fabric 的有线协议(pr
我想了解 ConditionalWeakTable .和有什么区别 class ClassA { static readonly ConditionalWeakTable OtherClass
关闭。这个问题需要更多focused .它目前不接受答案。 想改善这个问题吗?更新问题,使其仅关注一个问题 editing this post . 5年前关闭。 Improve this questi
我还没有成功找到任何可以引导我理解 UIPickerView 和 UIPickerView 模型的好例子。有什么建议吗? 最佳答案 为什么不使用默认的 Apple 文档示例?这是来自苹果文档的名为 U
我在看foldM为了获得关于如何使用它的直觉。 foldM :: Monad m => (a -> b -> m a) -> a -> [b] -> m a 在这个简单的例子中,我只返回 [Just
答案What are _mm_prefetch() locality hints?详细说明提示的含义。 我的问题是:我想要哪一个? 我正在处理一个被重复调用数十亿次的函数,其中包含一些 int 参数。
我一直在读这个article了解 gcroot 模板。我明白 gcroot provides handles into the garbage collected heap 然后 the handle
提供了一个用例: 流处理架构;事件进入 Kafka,然后由带有 MongoDB 接收器的作业进行处理。 数据库名称:myWebsite集合:用户 并且作业接收 users 集合中的 user 记录。
你好 我想更详细地了解 NFS 文件系统。我偶然发现了《NFS 图解》这本书,不幸的是它只能作为谷歌图书提供,所以有些页面丢失了。有人可能有另一个很好的资源,这将是在较低级别上了解 NFS 的良好开始
我无法理解这个问题,哪个更随机? rand() 或: rand() * rand() 我发现这是一个真正的脑筋急转弯,你能帮我吗? 编辑: 凭直觉,我知道数学答案是它们同样随机,但我忍不住认为,如果您
我是一名优秀的程序员,十分优秀!