java - 使用 jSoup 或其他库执行 JavaScript 后解析 HTML DOM

Question

我想用 jSoup 解析扩展的 doodle.com 民意调查我有两个问题。我不知道如何在解析 DOM 之前执行 JavaScript，其次我必须在此之前单击一个按钮以扩展所有日期。

到目前为止我得到了什么:

Response response= Jsoup.connect("http://doodle.com/xyz")
           .ignoreContentType(true)
           .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")  
           .referrer("http://www.google.com")   
           .timeout(12000) 
           .followRedirects(true)
           .execute();

Document doc = response.parse();
System.out.print(doc);

Answer 1

为什么不使用 Geb ？您可以与页面交互，然后使用 jQuery 选择器从您喜欢的 dom 中抓取任何结果。真的很不错。

import groovy.grape.Grape

@Grab(group="org.gebish", module="geb-core", version="0.9.0-RC-1")
@Grab(group="org.seleniumhq.selenium", module="selenium-firefox-driver", version="2.28.0")

import geb.Browser

def browser = new Browser()
browser.go "http://doodle.com/xyz"
browser.find(".maybefind").find("a", 0).click()
browser.find("a").each({
        element -> println element.text()
    })
browser.quit()

将其保存为 .groovy 并使用

运行它

groovy yourScript.groovy