r - 在 sparklyr 中导入多个文件

Question

我对 sparklyr 和 spark 很陌生，所以如果这不是执行此操作的“spark”方式，请告诉我。

我的问题

我有 50 多个 .txt 文件，每个文件大约 300 mb，都在同一个文件夹中，将其命名为 x ，我需要导入到 sparklyr，最好是一张 table 。

我可以单独阅读它们

spark_read_csv(path=x, sc=sc, name="mydata", delimiter = "|", header=FALSE)

如果我要将它们全部导入到 sparklyr 之外，我可能会创建一个包含文件名的列表，将其命名为 filelist然后用 lapply 将它们全部导入到一个列表中

filelist = list.files(pattern = ".txt")
datalist = lapply(filelist, function(x)read.table(file = x, sep="|", header=FALSE)) 

这给了我一个列表，其中元素 k 是 filelist 中的第 k:th .txt 文件.所以我的问题是:在 sparklyr 中是否有等效的方法来做到这一点？

我试过的

我试过使用 lapply()和 spark_read_csv ，就像我在 sparklyr 外面所做的那样。刚换了 read.table至 spark_read_csv和论点

datalist = lapply(filelist, function(x)spark_read_csv(path = x, sc = sc, name = "name", delimiter="|", header=FALSE))

这给了我一个元素数量与 .txt 文件相同的列表，但每个元素(.txt 文件)都与文件列表中的最后一个 .txt 文件相同。

> identical(datalist[[1]],datalist[[2]])
[1] TRUE

我显然希望每个元素都是数据集之一。我的想法是，在此之后，我可以 rbind他们在一起。

编辑:

找到了办法。问题是 spark_read_csv 中的参数“name”每次读取新文件时都需要更新，否则会覆盖。所以我在 for 循环而不是 lapply 中做了，并且在每次迭代中我更改了名称。有更好的方法吗？

datalist <- list()
for(i in 1:length(filelist)){
  name <- paste("dataset",i,sep = "_")
  datalist[[i]] <- spark_read_csv(path = filelist[i], sc = sc,
  name = name, delimiter="|", header=FALSE)
}

Answer 1

因为你(强调我的)

have 50+ .txt files at around 300 mb each, all in the same folder

您可以在路径中使用通配符:

spark_read_csv(
  path = "/path/to/folder/*.txt",
  sc = sc, name = "mydata", delimiter = "|", header=FALSE) 

如果目录只包含数据，您可以进一步简化:

spark_read_csv(
  path = "/path/to/folder/",
  sc = sc, name = "mydata", delimiter = "|", header = FALSE)

native Spark 阅读器还支持一次读取多个路径(Scala 代码):

spark.read.csv("/some/path", "/other/path")

但从 0.7.0-9014 开始，它在 sparklyr 中没有正确实现( current implementation of spark_normalize_path 不支持大小大于 1 的向量)。