Java Web 解析器带有 cookies？

Question

有一些可用的html解析库，但是如果您需要进行身份验证并在每个请求中携带 cookie，您该怎么办？

通常，如果您需要按某个按钮才能获取要解析的内容，该怎么办？例如，该按钮计算某些内容，或者通过 websocets 等获取一些数据...

是否有一种技术可以模拟浏览器中的行为(以便所有 js 都能正常工作)并从那里进行解析...？

更新

也许为此目的我需要嵌入 chromium 并使用传统的解析器？很难，我不明白如何触发点击...

Answer 1

HtmlUnit:http://htmlunit.sourceforge.net/

public static void main(String... args) throws Exception {
    final WebClient webClient = new WebClient();
    final HtmlPage page1 = webClient.getPage("http://some_url");
    final HtmlForm form = page1.getFormByName("myform");

    final HtmlSubmitInput button = form.getInputByName("submitbutton");
    final HtmlTextInput textField = form.getInputByName("userid");

    textField.setValueAttribute("root");

    final HtmlPage page2 = button.click();

    webClient.closeAllWindows();
}