python - 尝试读取大型网站文件数据时出现 MemoryError 异常

Question

我正在尝试读取大型网站数据，但我遇到了这个 MemoryError 异常

import requests
requests.urllib3.disable_warnings()
search_page = "http://www.yachtworld.co.uk/core/listing/cache/searchResults.jsp?ps=99999"
y = requests.get(search_page, timeout=999999, stream=True)
result = y.text

当我尝试从作为页面输出的 result 变量读取时，我遇到了 MemoryError 异常，

有没有办法在不遇到这个异常的情况下读取整个数据，

谢谢。

Answer 1

据我所知，问题没有任何变化 - 这意味着不可能，您可以像很好地呈现的那样以 block 的形式加载数据 here

我提供的链接中接受的答案说明了一段很好的用于分块响应的代码:

def download_file(url):
    local_filename = url.split('/')[-1]
    # NOTE the stream=True parameter
    r = requests.get(url, stream=True)
    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
                #f.flush() commented by recommendation from J.F.Sebastian
    return local_filename