java - 打开并保存网页 selenium java

Question

我需要为我的项目获取一些网页的内容，例如“http://www.ncbi.nlm.nih.gov/nuccore/NM_007002”。问题是我需要从浏览器打开页面并保存它以获取完整内容(如果我尝试使用库 URL 和 BufferReader，我会得到页面的“框架”，但不会得到我需要的文本)。我的教授告诉我使用 Seleniume 打开并下载我需要的页面，然后阅读并解析相关信息。

不幸的是，我找不到打开和保存网页的 JAVA 代码示例。谁能解释一下我该怎么做？

我想将页面保存到我的计算机，而不是复制源并将其保存为文件。并非所有信息都出现在源中!它是隐藏的。

Answer 1

在 Selenium 中你可以这样做:

SafariDriver driver = new SafariDriver(); //you can use any drivers like Chrome,FireFox
driver.get("your link");
String pageSource = driver.getPageSource(); //now you have the page source
//you can save the pageSource to the file or do what ever you want. 

查看 getPageSource 文档 here .

如果您想从特定标签获取数据，例如body，那么您可以这样做:

String pageSource=driver.findElement(By.tagName("body")).getText();