r - 如何在 R 中通过网络检测远程文件夹中新添加的文件？

Question

如何编写在服务器上运行的 R 脚本，该脚本会检测何时通过网络在远程文件夹中添加新的 CSV 文件(或其他特定格式)并自动下载？

示例文件夹:https://ftp.ncbi.nlm.nih.gov/pub/pmc/

在此文件夹中添加新的 CSV 文件后，我想立即下载以在本地进行处理。

Answer 1

我知道 OP 正在寻找一个“事件监听器”来监视文件服务器上的更改，但是必须从远程计算机发送一些消息以通知您的计算机更改。如果您无法控制文件服务器，那么让它向您发送消息的唯一方法是首先向它发送请求。这意味着唯一可用的通用“事件监听器”是通过间歇性轮询服务器来工作的。

根据您轮询的频率，这应该可以完美地作为事件监听器。打个比方，许多种类的 bat 通过发出间歇性超声波脉冲并倾听响应来捕猎。这是一种间歇性轮询的形式，效果很好，可以让它们保持活力。

这确实意味着必须在您自己的计算机上在后台运行某种软件。您在这里的两个选项是使用调度来间歇性地运行 R 脚本，或者在后台运行 R 脚本，该脚本在轮询之间暂停循环。

从评论看来，OP 只想下载添加到服务器的任何新文件，而不是在程序首次运行时创建现有文件的副本。这意味着必须将文件存储在本地，列出上次检查时 ftp 目录的内容，然后将其与 ftp 目录的当前内容进行比较，并下载任何新文件以及更新内容记录。

这是一个可以做到这一点的函数。第一次运行它时，它会创建一个以托管 URL 和 .csv 命名的新本地目录。文件，其中包含该目录的列表。在此之后对该函数的后续调用将比较本地和远程目录的内容并下载任何新文件:

local_mirror <- function(url, root_dir = path.expand("~/"), silent = FALSE)
{
  if(substring(root_dir, nchar(root_dir), nchar(root_dir)) != "/")
    root_dir <- paste0(root_dir, "/")
  content <- rvest::html_nodes(xml2::read_html(url), "a")
  links <- rvest::html_attr(content, "href")
  links <- grep("/", links, invert = TRUE, value = TRUE)
  rel_path <- strsplit(url, "//")[[1]][2]
  mirror_path <- paste0(root_dir, rel_path)
  if(!dir.exists(mirror_path))
  {
    build_path <- root_dir
    for(i in strsplit(rel_path, "/")[[1]])
    {
      build_path <- paste0(build_path, i, "/")
      dir.create(build_path)
    }
    write.csv(links, paste0(mirror_path, ".mirrordat.csv"))
  }
  records <- read.csv(paste0(mirror_path, ".mirrordat.csv"), stringsAsFactors = FALSE)
  current_files <- records$x
  n_updated <- 0
  if(!silent) cat("Updating files - please wait")
  for(i in seq_along(links))
  {
    if(!(links[i] %in% current_files))
    {
      download.file(paste0(url, links[i]), paste0(mirror_path, links[i]))
      n_updated <- n_updated + 1
    }
  }
  if(!silent) message(paste("Downloaded", n_updated, "files"))
  write.csv(links, paste0(mirror_path, ".mirrordat.csv"))
}

要在您的情况下运行该功能，您只需运行:

local_mirror("https://ftp.ncbi.nlm.nih.gov/pub/pmc/")

并在后台将其作为常量“事件监视器”运行，您可以将它放在一个循环函数中，如下所示:

listen_for_changes <- function(url, poll_every = 5, silent = TRUE)
{
  repeat
  {
    local_mirror(url, silent = silent)
    Sys.sleep(poll_every)
  }
}

你会用它运行:

listen_for_changes("https://ftp.ncbi.nlm.nih.gov/pub/pmc/")