web-scraping - 如何使用splash获取弹出内容

Question

我开始使用带有splash的scrapy，我想知道splash是否可以处理多个窗口和弹出窗口。作为一个例子，我想使用该 lua 脚本并尝试获取谷歌窗口的内容

function main(splash)
  assert(splash:go("http://stackoverflow.com/"))
  assert(splash:runjs("window.open('http://www.google.com');"))
  assert(splash:wait(5))
  return {
    ?
  }
end

Answer 1

我发现了一个小技巧，我做了一个

assert(splash:runjs("window.open = function(url) {window.location.replace(url)};")

因此，您不会打开新窗口，而是被重定向到该链接，但这是一种黑客行为，如果不使用 window.open 打开弹出窗口，它可能不起作用

我认为带有 Selenium 的 scrapy 也可能是一个解决方案，但我想让我的东西保持轻量级