python - 尝试从 nytimes.com 下载 .pdf .png 和 .jpg

Question

我编写了一个简单的 Python 抓取工具来从 nytimes.com 的特定页面抓取一些文档。它可以正常工作，因为它可以抓取并正确格式化所有 URL，并尝试下载文件，并正确格式化名称。

但我得到的只是 1kb 的文件。我不知道为什么。这是我的代码:

import urllib2 
import urllib 
from cookielib import CookieJar

files = 'http://www.nytimes.com/interactive/2014/11/25/us/evidence-released-in-michael-brown-case.html?_r=0' 
slashpos = 0

def getLinks(url):
    cj = CookieJar()
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
    p = opener.open(url)
    result = []
    for line in p:
        for element in line.split():
            if element.startswith('href="http://gr'):
                if element.endswith('pdf"') or element.endswith('png"') or element.endswith('jpg"'):
                    result.append(element[6:])
                else:
                    continue
    for char in result:
        slashpos = char.rfind('/') + 1
        urllib.urlretrieve(char, char[slashpos:-1])

getLinks(files)

感谢任何帮助。谢谢!

Answer 1

1) 使用 result.append(element[6:-1]) 而不是 result.append(element[6:]) (避免在url，下载失败的原因)
2) 保存文件使用 urllib.urlretrieve(char, char[slashpos:]) 而不是 urllib.urlretrieve(char, char[slashpos:-1])