javascript - 尝试使用 scrapy 抓取 ajax 请求生成的数据，但 ajax 请求重定向到主页

Question

我是新手，所以我不确定为什么会遇到这个问题。我正在尝试从 anyvan.com 上抓取客户 vendor 的聊天记录。该网站的正常工作页面看起来像 this .单击出价 session 中的粉红色 View 按钮会发送一个 ajax 请求，然后加载聊天。这个 XHR 请求可以在 Developers tool -> Network -> filter XHR request 中看到。

我正在使用以下简单的蜘蛛通过 scrapy 模拟该请求，但似乎我被重定向到 anyvan.com

class AVSpider(Spider):
    name = "anyvanscraper"
    allowed_domains = ["anyvan.com"]
    # This start URL is the job URL
    start_urls = ["http://www.anyvan.com/view-listing/1935650"]

    def parse(self, response):
        # This receives the response from the start url. But we don't do anything with it.
        url = 'http://www.anyvan.com/ajax-bid-comment/bid/14916780'
        return Request('http://www.anyvan.com/ajax-bid-comment/bid/14916780' , callback=self.parse_stores)
    
    def parse_stores(self, response):
        y = response.body
        f = open('html.txt','w')
        f.write(BeautifulSoup(y).prettify().encode('utf-8'))

提前致谢艾伦

Answer 1

添加这个标题。您可以将其添加到请求中。

"X-Requested-With": "XMLHttpRequest"

像这样的东西应该可以工作:

return Request('http://www.anyvan.com/ajax-bid-comment/bid/14916780' , callback=self.parse_stores, headers={"X-Requested-With": "XMLHttpRequest"})