arrays - Julia:三维数组(性能)

Question

Julia 的思考 performance tips我还没有找到任何关于如何使用三维数组加速代码的建议。

据我了解，当d(第三维)较小时，d-element Array{Array{Float64,2},1} 的性能最佳。但是，我不确定当d很大时是否会出现这种情况。

是否有针对 Julia 的此主题的任何教程？

<小时/>

示例 1a (d=50)

x = [zeros(100, 10) for d=1:50];

@time for d=1:50
    x[d] = rand(100,10);
end

0.000100 seconds (50 allocations: 396.875 KB)

示例 1b (d=50)

y=zeros(100, 10, 50);

@time for d=1:50
    y[:,:,d] = rand(100,10);
end

0.000257 seconds (200 allocations: 400.781 KB)

<小时/>

示例 2a (d=50000)

x = [zeros(100, 10) for d=1:50000];

@time for d=1:50000
    x[d] = rand(100,10);
end

0.410813 seconds (99.49 k allocations: 388.328 MB, 81.88% gc time)

示例 2b (d=50000)

y=zeros(100, 10, 50000);

@time for d=1:50000
    y[:,:,d] = rand(100,10);
end

0.185929 seconds (298.98 k allocations: 392.898 MB, 6.83% gc time)

Answer 1

From my understanding d-element Array{Array{Float64,2},1} would perform best when d (the third dimension) is small. However, I am not sure whether this is the case when d is large.

不，更重要的是你如何使用它。 A = Array{Array{Float64,2},1} 是指向矩阵的指针数组。数组的值是指针或引用。因此 A[i] 返回一个引用，即它很便宜。 A2 = Array{Float64,3} 是一个连续的 float 组。它实际上只是线性内存块上的索引设置(并且具有线性索引 A2[i] ，它使用该线性形式贯穿整个过程)。

后者有一些优点，因为它是连续的。没有间接性，因此循环所有 A2 的值会更快。 A 必须遵循两个指针才能获取值，因此如果您不知道仅遵循每个内部矩阵一次，简单的 3D 循环将会变慢。另外，您可以通过 @view A2[:,:,1] 等获取矩阵 View ，但您必须注意 A2[:,:,1] 本身将复制矩阵。 A[1] 是一个自然的 View ，因为它返回对 matirx 的引用，如果您想复制，则必须显式执行 copy(A[1])。因为 A 只是一个指针的线性数组，所以在其上 push! 添加一个新矩阵的成本很低，因为它只是增加一个相对较小的数组(并且 push! 自动摊销)以在末尾添加一个新指针(这就是为什么像 DifferentialEqautions.jl 使用数组的数组来构建时间序列而不是更传统的矩阵的原因)。

所以它们是不同的工具，具有不同的优点和缺点。

至于你的时间安排，你正在做两件不同的事情。 x[d] = rand(100,10) 正在创建一个新矩阵并将其引用添加到 x。 y[:,:,d] = rand(100,10) 正在创建一个新矩阵并循环遍历 y 的值以更改 y 的值。您可以看到为什么速度较慢。但您遗漏的是无分配的情况。

function f2()
    y=zeros(100, 10, 50);

    @time for i in eachindex(y)
        y[i] = rand()
    end
    y
end

在小情况下，这与数组创建相匹配。在第一种情况下，您不能天真地执行此操作，但正如我所说，如果您在做得很好后取消引用矩阵的指针:

function f()
    x = [zeros(100, 10) for d=1:5000];

    @time @inbounds for d=1:50
        xd = x[d]
        for i in eachindex(xd)
            xd[i] = rand()
        end
    end
    x
end

因此，在适当的情况下，数组的数组可以是很好的数据结构。图书馆RecursiveArrayTools.jl的创建是为了更好地利用它。例如，A3 = VectorOfArrays(A) 通过延迟转换 A[i,j, k] 到 A[k][i,j]。然而，它保留了A的优点，但会像f一样自动确保以正确的方式广播。另一个类似的工具是 ArrayPartition，它允许以广播性能的方式进行异构类型。

所以，是的，它并不总是正确的工具，但如果正确使用，这些异构和递归数组是很棒的工具。