gpt4 book ai didi

当一个函数被传递一个函数时,Julia 编译器似乎没有优化

转载 作者:行者123 更新时间:2023-12-03 20:30:06 25 4
gpt4 key购买 nike

第二次编辑: This pull request在 github 上会解决这个问题。只要运行 Julia v0.5+,匿名函数就会和普通函数一样快。所以案子结了。

编辑:我已将问题和函数定义更新为更一般的情况。

举个简单的例子,当一个函数被传递一个函数或者一个函数在一个函数中定义时,Julia 编译器似乎没有优化。这让我感到惊讶,因为这在优化包中很常见。我是正确的还是我在做一些愚蠢的事情?一个简单的例子如下:

f(a::Int, b::Int) = a - b    #A simple function

function g1(N::Int, fIn::Function) #Case 1: Passing in a function
z = 0
for n = 1:N
z += fIn(n, n)
end
end

function g2(N::Int) #Case 2: Function defined within a function
fAnon = f
z = 0
for n = 1:N
z += fAnon(n, n)
end
return(z)
end

function g3(N::Int) #Case 3: Function not defined within function
z = 0
for n = 1:N
z += f(n, n)
end
return(z)
end

然后我运行以下代码来对三种情况计时:
#Run the functions once
g1(10, f)
g2(10)
g3(10)

@time g1(100000000, f)
@time g2(100000000)
@time g3(100000000)

时间是:
elapsed time: 5.285407555 seconds (3199984880 bytes allocated, 33.95% gc time)
elapsed time: 5.424531599 seconds (3199983728 bytes allocated, 32.59% gc time)
elapsed time: 2.473e-6 seconds (80 bytes allocated)

前两种情况需要大量内存分配和垃圾回收。谁能解释一下为什么?

最佳答案

所以一个有趣的事情是使用 @code_warntype在 Julia 0.4 中,显示以下内容:

julia> @code_warntype g1(10, f)
Variables:
N::Int64
fIn::F
z::Any
#s1::Int64
n::Int64

Body:
begin # none, line 2:
z = 0 # line 3:
... snip ....
z = z + (fIn::F)(n::Int64,n::Int64)::Any::Any

所以问题在于 f 的返回类型的推断,这真的可以是任何东西。问题(据我所知)是 Julia 为每种类型组合编译了一个方法。我们已经为任何函数生成了代码,所以任何东西都可以返回。如果 Function 就好了在返回类型上是参数化的,因为那样我们可以做一些更聪明的事情,比如 Function{T<:Any,Int} .

我的解决方案是将其更改为 z += fIn(n, n)::Int ,这允许 z永远是 Int但我仍然看到
(top(typeassert))((fIn::F)(n::Int64,n::Int64)::Any,Int)::Int64

@code_warntype输出,这是有道理的,因为它确实仍然是 Any ,我只是确保不会污染其余部分。但我认为它仍然需要生成代码来检查它实际上是一个 Int .让我们称之为新版本 g1A :
julia> @time g1(1000000, f)
elapsed time: 0.124437357 seconds (30 MB allocated, 2.82% gc time in 1 pauses with 0 full sweep)
elapsed time: 0.121653131 seconds (30 MB allocated, 2.51% gc time in 2 pauses with 0 full sweep)
elapsed time: 0.120805345 seconds (30 MB allocated, 1.17% gc time in 1 pauses with 0 full sweep)

julia> @time g1A(1000000, f)
elapsed time: 0.085875439 seconds (30 MB allocated, 5.20% gc time in 1 pauses with 0 full sweep)
elapsed time: 0.074592531 seconds (30 MB allocated, 4.67% gc time in 2 pauses with 0 full sweep)
elapsed time: 0.078681071 seconds (30 MB allocated, 4.75% gc time in 1 pauses with 0 full sweep)

所以有些收获,但并不理想。这是一个深入研究 Julia 内部工作的已知问题。相关讨论:
  • #1090 return type declarations
  • #210 function types
  • #1864 anonymous function calls have a huge overhead
  • #9863 Someone needs to write a FAQ entry on functions-as-variables
  • 关于当一个函数被传递一个函数时,Julia 编译器似乎没有优化,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28356437/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com