循环 : file(con, "r") 和 open.connection(con, "rb") 中的 R 错误

Question

我正在下载一系列 JSON 文件的 url 到列表列表中，稍后进行分析。

    baseurl <- "http://zoeken.kvk.nl/Address.ashx?site=handelsregister&partialfields=&q=010"
    pages <- list()

    for(i in 1:99999){
      if(i < 10000){
        message("ignoring page ", i)
      }
      if(i >= 10000){
        message("Retrieving page ", i)
        mydata <- RJSONIO::fromJSON(paste0(baseurl,i), flatten=TRUE) 

        pages[[i+1]] <- mydata$resultatenHR
# adding adjustment 1
        options(timeout = 4000000)
# adding adjustment 2
        if(i %% 100 == 0){Sys.sleep(2)}
        if(i %% 1000 == 0){Sys.sleep(10)}
      }

    }

然而，在不愉快的时刻，我得到错误代码:

error in open.connection(con, "rb") : Recv failure: Connection was reset. 

或

Error in file(con, "r") : cannot open the connection

我先试了上面提到的调整1，再试了调整2，问题还是不断。如果我尝试在错误点重新启动循环，它会再次运行，直到出现以下不规则错误。

我如何构建 R 在错误点自动重新启动循环？

注意我在 open.connection 中看到了关于错误的其他主题，但我不理解给出的答案，或者它不适用于我认为的代码类型......

NB2:我也尝试过使用 jsonlite 包而不是 RJSONIO，但它在不规则的时刻给出了同样的错误。感谢您的输入。

Answer 1

我遇到了几乎完全相同的问题。特别是当我尝试下载更大的数据集时，它会发生。我收到这种错误消息:“open.connection(con, "rb") 错误:发送失败:连接已重置”

  final_results <- list()

  while(i < number){
      query <- paste0(url_start, i)
      json_result <- fromJSON(query)
      final_results[[i]] <- as.data.frame(json_result$records)
      i <- i+1
  }

有人知道我在这里做错了什么吗？