r - 如何使用基本身份验证发出并发 HTTP 请求

Question

我的目标是从 Shopify 导入客户的订单历史记录。 Shopify 只允许我在每个请求中导入 250 个订单，但我的客户有数千个。

这是(基本上)我目前使用 httr 的工作解决方案这很慢

fetchedList <- list()

# Loop through pages of orders and collect them
for(pg in 1:10){

  requestURL <- paste0("https://abc-store.myshopify.com/admin/orders.json?page=", p)

  fetched <- httr::GET(
    url = requestURL,
    httr::add_headers(Accept = "application/json"),
    httr::authenticate(user = "foo", password = "bar")
  )

  # Append the fetched response to fetchedList 
  fetchedList <- c(fetchedList, list(fetched))
}

# Process the results...

我想通过发出多个并发请求来加快速度。我怎样才能做到这一点？好像curl和 RCurl两者都支持这一点，但我对 HTTP 还很陌生，无法使任何一种解决方案正常工作。

Answer 1

您应该使用 multi api 来执行并发请求。请参阅 ?multi_run 的手册页或有关 async requests 的部分在小插图中。

也有包装多 api 的包，以尝试使其更容易。 crul package (注意 crul 不是打字错误 :) 或者更多，如果你想真正喜欢 async包裹。