r - “Error in open.connection(x, "rb ") : Timeout was reached”

Question

当我进行一些网页抓取(使用 for 循环抓取多个页面)时，有时，抓取 40 页中的第 35 页后，我会出现以下错误:

“Error in open.connection(x, "rb") : Timeout was reached”

有时我还会收到这条消息:

“In addition: Warning message: closing unused connection 3”

下面列出了我想澄清的事情:

1) 我读过它可能需要明确定义用户代理。我已经尝试过:

read_html(curl('www.link.com', handle = curl::new_handle("useragent" = "Mozilla/5.0")))

但它并没有改变任何东西。

2) 我注意到当我打开 VPN 并更改位置时，有时我的抓取工作没有任何错误。我想知道为什么？

3) 我也读过它可能取决于代理。如何了解如何以及为什么？

4) 除了我的错误，我想了解这个警告，它是否可能是导致理解错误的线索:

Warning message: closing unused connection 3

这是否意味着当我进行网络抓取时，我应该以某种方式在最后调用一个函数来关闭连接？

我已经在 stackoverflow 上阅读了以下帖子，但没有明确的解决方案:

Iterating rvest scrape function gives: "Error in open.connection(x, "rb") : Timeout was reached"

rvest Error in open.connection(x, "rb") : Timeout was reached

Error in open.connection(x, "rb") : Couldn't connect to server

Answer 1

你试过吗？

https://stackoverflow.com/a/38463559

library(rvest)
url = "http://google.com"
download.file(url, destfile = "scrapedpage.html", quiet=TRUE)
content <- read_html("scrapedpage.html")