gpt4 book ai didi

r - sparklyr:跳过文本文件的第一行

转载 作者:行者123 更新时间:2023-12-03 20:22:27 25 4
gpt4 key购买 nike

我想跳过(退出)文本文件的前两行:
据我所知,使用 sparklyr 方法是不可能的 spark_read_csv .有一些解决方法可以解决这个简单的问题吗?

我知道 sparklyr extension 的存在但我正在寻找一种“更多”的标准方式来实现我的目标。

最佳答案

您可以使用具有功能 spark_reader 的自定义阅读器在版本中引入 1.3.0 . API reference .
让我们看一个例子。假设你有 2 个文件:sample1.csv包含:

# file 1 skip line 1
# file 1 skip line 2
header1,header2,header3
row1col1,row1col2,1
row2col1,row2col2,1
row3col1,row3col2,1
sample2.csv包含:
# file 2 skip line 1
# file 2 skip line 2
header1,header2,header3
row1col1,row1col2,2
row2col1,row2col2,2
row3col1,row3col2,2
以下代码从本地文件系统读取文件,但同样可以应用于 HDFS 源。
library(sparklyr)
library(dplyr)

sc <- spark_connect(master = "local")

paths <- paste("file:///",
list.files(getwd(), pattern = "sample\\d", full.names = TRUE),
sep = "")
paths
路径必须是绝对的,在我的例子中: "file:///C:/Users/erodriguez/Documents/sample1.csv" ... .然后使用数据类型定义模式。 custom_csv_reader是读取器函数,它获取一个 URI 并返回一个数据帧。读取器任务将分布在 Spark 工作节点之间。请注意 read.csv调用有参数 skip = 2删除前两行。
schema <- list(name1 = "character", name2 = "character", file = "integer")

custom_csv_reader <- function(path) {
read.csv(path, skip = 2, header = TRUE, stringsAsFactors = FALSE)
}

data <- spark_read(sc, path = paths, reader = custom_csv_reader, columns = schema)

data
结果:
# Source: spark<?> [?? x 3]
name1 name2 file
<chr> <chr> <int>
1 row1col1 row1col2 1
2 row2col1 row2col2 1
3 row3col1 row3col2 1
4 row1col1 row1col2 2
5 row2col1 row2col2 2
6 row3col1 row3col2 2

关于r - sparklyr:跳过文本文件的第一行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40185824/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com