algorithm - 模块化逆的奇怪 Python 加速

Question

平时我比较懒，按如下方式计算模逆:

def inv(a,m):
    return 1 if a==1 else ((a-inv(m%a,a))*m+1)//a
print(inv(100**7000,99**7001))

但我很想知道传递更多信息的方法，即 Bezout 定理的解决方案(而不是一对定理中的一个)，在实践中是否会产生更快或更慢的算法:

def bez(a,b):
    # returns [x,y,d] where a*x+b*y = d = gcd(a,b) since (b%a)*y+a*(x+(b//a)*y)=d
    if a==0: return [0,1,b] if b>0 else [0,-1,-b]
    r=bez(b%a,a)
    return [r[1]-(b//a)*r[0],r[0],r[2]]
def inv(a,m):
    r=bez(a,m)
    if r[2]!=1: return None
    return r[0] if r[0]>=0 else r[0]+abs(m)
print(inv(100**7000,99**7001))

我惊奇地发现后者比前者跑得快50多倍!但是两者都使用几乎相同数量的递归调用和每次调用 1 个整数除法和 1 个模运算，并且操作数的位长平均大约是前者的两倍(因为涉及的参数相同)，所以我只期望它的时间复杂度大约是后者的 4 倍，而不是后者的 50 倍。

So why am I observing this strange speedup?

请注意，我使用的是 Python 3，我在运行 online 时观察到这一点，在顶部添加以下代码以停止 Python 解释器提示超出最大递归深度或堆栈空间:

import resource,sys
sys.setrecursionlimit(1000000)
resource.setrlimit(resource.RLIMIT_STACK,[0x10000000,resource.RLIM_INFINITY])

Answer 1

我终于明白了。假设初始输入是 n 位整数。在典型情况下，除了对 inv 或 inv2 的第一次调用外，递归调用的参数大小平均仅相差 O(1)，并且有 O(n ) 平均递归调用，都是由于一些数论现象。这种 O(1) 大小差异意味着这两种方法实际上具有截然不同的平均时间复杂度。我的问题中隐含的假设是两个 n 位整数的乘法或除法大约需要 O(n^2) 时间；这适用于最坏的情况(对于教科书乘法)，但不适用于快速方法的平均情况!

对于快速方法，可以证明当p,q > 0时，bez(p,q)返回的三元组[x,y,d]满足abs(x) ≤ q 和 abs(y) ≤ p。因此，当每次调用 bez(a,b) 执行 b%a 和 (b//a)*r[0] 时，模由于平均 size(b)-size(a) ∈ O(1) 且 abs(r[0]) ≤ a，除法和乘法每个都需要 O(size(a)) 时间。因此，总时间大约为 O(n^2)。

然而，对于慢速方法，当每次调用inv(a,m)时执行((a-inv(m%a,a))*m+1)//a，我们有一个与 a 大小大致相同的 a-inv(m%a,a)，所以这个除法是两个整数，其中第一个大约是第二个大小的两倍，这需要 O(大小(a)^2) 时间!因此，总时间大约为 O(n^3)。

的确，模拟结果与上述分析非常吻合。作为引用，使用快速方法 inv(100**n,99**(n+1)) where n = 1400·k for k∈[1..6] take time/ms 17,57,107,182,281,366，同时使用慢速方法，其中 n = 500·k for k∈[1..6] 花费时间/ms 22,141,426,981,1827,3101。它们分别与 9·k^2+9·k 和 13·k^3+8·k^2 非常吻合，平均分数误差分别为 ≈3.3% 和 ≈1.6%。 (我们包括前两个最高阶项，因为它们的贡献很小但很重要。)