Python:调用 Python 对象时超出了最大递归深度

Question

我已经构建了一个爬虫，它必须在大约 500 万个页面上运行(通过增加 url ID)然后解析包含我需要的信息的页面。

使用在 url (200K) 上运行的算法并保存好结果和坏结果后，我发现我浪费了很多时间。我可以看到有一些返回的减数可以用来检查下一个有效的 url。

你可以很快看到减数(前几个“好 ID”的小例子)-

510000011 # +8
510000029 # +18
510000037 # +8
510000045 # +8
510000052 # +7
510000060 # +8
510000078 # +18
510000086 # +8
510000094 # +8
510000102 # +8
510000110 # etc'
510000128
510000136
510000144
510000151
510000169
510000177
510000185
510000193
510000201

在爬取了大约 200K 的 url 后，我只得到了 14K 的好结果，我知道我在浪费时间并且需要优化它，所以我运行了一些统计数据并构建了一个函数来检查 url，同时将 id 增加 8\18\17\8(顶部返回减数)等'。

这是函数 -

def checkNextID(ID):
    global numOfRuns, curRes, lastResult
    while ID < lastResult:
        try:
            numOfRuns += 1
            if numOfRuns % 10 == 0:
                time.sleep(3) # sleep every 10 iterations
            if isValid(ID + 8):
                parseHTML(curRes)
                checkNextID(ID + 8)
                return 0
            if isValid(ID + 18):
                parseHTML(curRes)
                checkNextID(ID + 18)
                return 0
            if isValid(ID + 7):
                parseHTML(curRes)
                checkNextID(ID + 7)
                return 0
            if isValid(ID + 17):
                parseHTML(curRes)
                checkNextID(ID + 17)
                return 0
            if isValid(ID+6):
                parseHTML(curRes)
                checkNextID(ID + 6)
                return 0
            if isValid(ID + 16):
                parseHTML(curRes)
                checkNextID(ID + 16)
                return 0
            else:
                checkNextID(ID + 1)
                return 0
        except Exception, e:
            print "somethin went wrong: " + str(e)

基本上做的是 -checkNextID(ID) 正在获取我知道的第一个 id，其中包含减 8 的数据，因此第一次迭代将匹配第一个“if isValid”子句(isValid(ID + 8) 将返回 True) .

lastResult 是一个保存最后一个已知 url id 的变量，所以我们会一直运行到 numOfRuns 为

isValid() 是一个函数，它获取一个 ID + 一个减数，如果 url 包含我需要的内容，则返回 True 并将 url 的汤对象保存到名为 - 的全局变量中curRes'，如果 url 不包含我需要的数据，则返回 False。

parseHTML 是一个函数，它获取汤对象 (curRes)，解析我需要的数据，然后将数据保存到 csv，然后返回 True。

如果 isValid() 返回 True，我们将调用 parseHTML() 然后尝试检查下一个 ID+被减数(通过调用 checkNextID(ID + subtrahends)，如果它们都不会返回我正在寻找的内容我将其增加 1 并再次检查，直到找到下一个有效 url。

你可以看到剩下的代码 here

运行代码后我得到了大约 950~ 好的结果，突然引发了一个异常 -

"somethin went wrong: maximum recursion depth exceeded while calling a Python object"

我可以在 WireShark 上看到 scipt 卡在 id - 510009541 上(我以 510000003 开始​​我的脚本)，在我注意到错误并停止它之前，脚本尝试了几次使用该 ID 获取 URL。

看到我得到了相同的结果，但比我的旧脚本快 25 倍至 40 倍，HTTP 请求更少，非常精确，我真的很兴奋，我只错过了 1000 个好结果的 1 个结果，这是由我，5M 次朗姆酒是不可能的，我的旧脚本运行了 30 个小时，得到了 14-15K 的结果，而我的新脚本在 5-10 分钟内给了我 960~ 个结果。

我阅读了有关堆栈限制的信息，但我试图在 Python 中实现的算法必须有一个解决方案(我无法回到我的旧 “算法”，它永远不会结束)。

谢谢!

Answer 1

Python 对递归没有很好的支持，因为它缺少 TRE (Tail Recursion Elimination)。

这意味着对递归函数的每次调用都会创建一个函数调用堆栈，因为堆栈深度有一个限制(默认为 1000)，您可以通过 sys.getrecursionlimit 查看(当然您可以使用 sys.setrecursionlimit 更改它，但不建议这样做)您的程序在达到此限制时最终会崩溃。

由于其他答案已经为您提供了一种更好的方法来解决您的情况(即通过简单循环替换递归)，如果您仍想使用递归，则还有另一种解决方案，即使用其中一个许多像这样在 python 中实现 TRE 的秘诀 one .

注意:我的回答旨在让您更深入地了解为什么会出现错误，我不建议您使用我已经解释过的 TRE，因为在您的情况下，循环会更好，更易于阅读。