javascript - Scrapy 飞溅不返回结果

Question

我正在学习 scrapy(使用 splash)并构建一个蜘蛛来从启用 js 的页面中抓取结果。我的蜘蛛工作并且确实返回 js 页面的结果。但是，它不会从此链接返回价格 https://www.zara.com/us/en/bejewelled-appliqu%C3%A9-dress-p07854034.html?v1=4818592&v2=733885

xpath used: //*[contains(concat( " ", @class, " " ), concat( " ", "_product-price", " " ))]//span/text()

上面的xpath确实在浏览器中返回了结果，但是在通过scrapy调用时不返回结果。这是我的蜘蛛电话

yield scrapy.Request(url, callback=self.parse_page, dont_filter=True, meta={'splash': {'args': {'wait': 5,},'endpoint': 'render.html',}})

您能帮忙弄清楚为什么网站上的价格没有返回吗？

谢谢!

Answer 1

问题是价格在 Splash 呈现的 HTML 输出中根本不存在(最好将您的 URL 放在 Web 浏览器的 Splash 控制台中的 8050 端口上，然后查看它的呈现输出)。从 Splash 开始 FAQ当页面未正确呈现时。您会发现，在您的情况下，解决方案是 disable Private mode对于 Splash，可以通过 Docker 的 --disable-private-mode 启动选项，或者通过在 LUA 脚本中设置 splash.private_mode_enabled = false。禁用私有(private)模式后，页面会正确呈现。