java - 下载使用加载微调器的网页源代码

Question

我需要下载这个网页的源代码:https://app.zonky.cz/#/marketplace/这样我就可以用代码检查是否有新的贷款可用。对我来说不幸的是，网页在后台加载页面时使用加载微调器。当我尝试使用以下方式下载页面的源代码时:

String url = "https://app.zonky.cz/#/marketplace/";
    StringBuilder text = new StringBuilder();
    try
    {
        URL pageURL = new URL(url);            
        Scanner scanner = new Scanner(pageURL.openStream(), "utf-8");
        try {
            while (scanner.hasNextLine()){
                text.append(scanner.nextLine() + "\n");
            }
        }
        finally{
            scanner.close();
        }

    }
    catch(Exception ex)
    {
        //
    }        
    System.out.println(text.toString());

从显示微调器的那一刻起，我就获取了页面的源代码。您知道更好的方法吗？

解决方案:

public static String getSource() {
    WebDriver driver = new FirefoxDriver();
    driver.get("https://app.zonky.cz/#/marketplace/");
    String output = driver.getPageSource();
    driver.close();
    return output;
}

Answer 1

您始终可以通过检查元素是否存在(仅在微调器消失后加载)来等待页面完成加载

您还研究过使用 Selenium 吗？它对于与网站交互和处理棘手的过程(例如等待元素)非常有用:P

编辑:可以在这里找到一个非常简单的 Selenium 等待教程 - http://docs.seleniumhq.org/docs/04_webdriver_advanced.jsp#explicit-and-implicit-waits