python - 如何使用 Selenium 浏览整个网站？

Question

是否可以使用 selenium 遍历给定 URL(网站)的所有 URI？ ？

我的目标是使用带有我选择的给定 URL 的 selenium 启动 firefox 浏览器(感谢这个网站，我知道该怎么做)，然后让 firefox 浏览该 URL(网站)具有的所有页面。我感谢有关如何在 Python 中执行此操作的任何提示/帮助。

Answer 1

您可以在类中使用递归方法(例如下面给出的方法)来执行此操作。

public class RecursiveLinkTest {
    //list to save visited links
    static List<String> linkAlreadyVisited = new ArrayList<String>();
    WebDriver driver;

    public RecursiveLinkTest(WebDriver driver) {
        this.driver = driver;
    }

    public void linkTest() {
        // loop over all the a elements in the page
        for(WebElement link : driver.findElements(By.tagName("a")) {
            // Check if link is displayed and not previously visited
            if (link.isDisplayed() 
                        && !linkAlreadyVisited.contains(link.getText())) {
                // add link to list of links already visited
                linkAlreadyVisited.add(link.getText());
                System.out.println(link.getText());
                // click on the link. This opens a new page
                link.click();
                // call recursiveLinkTest on the new page
                new RecursiveLinkTest(driver).linkTest();
            }
        }
        driver.navigate().back();
    }

    public static void main(String[] args) throws InterruptedException {
        WebDriver driver = new FirefoxDriver();
        driver.get("http://newtours.demoaut.com/");
        // start recursive linkText
        new RecursiveLinkTest(driver).linkTest();
    }
}

希望对你有帮助。