python - 通过单击按钮使用启动画面下载文件

Question

我有一个蜘蛛用来抓取一些数据和 pdf 文件。除了pdf以外一切都完成了。 pdf 没有直接的 src 下载到 file_urls 字段。html 看起来像这样

<a onclick="document.forms[0].target ='_blank';" id="main_0_body_0_lnkDownloadBio" href="javascript:__doPostBack('main_0$body_0$lnkDownloadBio','')">Download full <span class="no-wrap">bio <i class="fa fa-angle-right" data-nowrap-cta=""></i></span></a>

似乎某些 javascript 点击方法正在工作，而不是 src。当我们单击此按钮时，它将打开一个新窗口，其中包含下载选项。现在我计划将启动请求与 lua 脚本一起使用。这是代码

class DataSpider(scrapy.Spider):

name = config.NAME
allowed_domains = [config.DOMAIN]

def start_requests(self):

    for url in config.START_URLS:
        yield scrapy.Request(url, self.parse_data)

def parse_data(self, response):
    script = """
    function main(splash)
        local url = splash.args.url
        assert(splash:go(url))
        assert(splash:wait(1))

        -- go back 1 month in time and wait a little (1 second)
        assert(splash:runjs("document.getElementById('DownloadBio').click()"))
        assert(splash:wait(1))

        -- return result as a JSON object
        return {
            html = splash:html(),
        }
    end
    """

    response = json.loads(response.text)
    res = response['people']
    for index, i in enumerate(res[1]):
        first_name = res[index]['name']
        last_name = res[index]['lastname']
        location = res[index]['location']
        link = res[index]['pageurl']
        link = config.HOST + link
        item = ProtoscraperItem(first_name=first_name, last_name=last_name, title=title, location=location, link=link)

        # This request is for the detail page and there is more info and pdf.

        request = SplashRequest(link, self.parse_details, meta={
            'splash': {
                'args': {'lua_source': script, 'wait': 30, 'timeout': 40},
                'endpoint': 'execute',
            },)
        request.meta['item'] = item
        request.meta['link'] = link
        yield request

def parse_details(self, response):

    # what to do here

所以在这里我单击 anchor 标记来执行 javscript。我认为它正在工作，但没有下载任何内容。我在这里缺少什么。可以指定下载路径吗？我认为这对于 selenium 是可能的，但是我怎样才能用splash 和 lua 做到这一点？

Answer 1

通过查看单击按钮，我相信它正在调用 ASP.net 中的“__doPostBack”函数。当您单击该提交按钮时，表单 [0] 会以特定值提交。您需要检查页面以获取通过表单提交提交的所有元素。

执行此操作所需的参数是

__EVENTTARGET,

__EVENTARGUMENT

__VIEWSTATE

__VIEWSTATEGENERATOR

__EVENTVALIDATION

也许更多，通常这些参数被设置为表单中的隐藏值。 (请在您的网页中验证)

 arguments = {'__EVENTTARGET': 'main_0$body_0$lnkDownloadBio',
                 '__EVENTARGUMENT': '',
                 '__VIEWSTATE': viewstate,
                 '__VIEWSTATEGENERATOR': viewstategen,
                 '__EVENTVALIDATION': eventvalid,
                 'search': '',
                 'filters': '',
                 'score': ''
              }
    
    HEADERS = {
                'Content-Type':'application/x-www-form-urlencoded',
                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) 
                 AppleWebKit/537.36 (KHTML, like Gecko) 
                 Chrome/60.0.3112.101 Safari/537.36',
                'Accept': 'text / html, application / xhtml + xml, 
                 application / xml;q = 0.9, image / webp, image / apng, * 
                 / *;q = 0.8'
               }
    
    data = urllib.urlencode(arguments)
    r = requests.post(submitin_url, data, allow_redirects=False, headers=HEADERS)
    
    with open(some_filename, 'wb') as f:
        f.write(r.content)

我的项目也有类似的工作，并且我已经这样做了。使用 Python 请求发送表单值和参数。响应将是您尝试下载的文件。将其写入文件并确保扩展名正确。希望对您有所帮助。