gpt4 book ai didi

r - 使用SparkR,如何将字符串列拆分为 'n'多列?

转载 作者:行者123 更新时间:2023-12-05 04:14:04 25 4
gpt4 key购买 nike

我正在使用 SparkR 1.6,并且我有一个包含数百万行的数据帧。 df 的列之一,名为 « categories »,包含具有以下模式的字符串:

      categories
1 cat1,cat2,cat3
2 cat1,cat2
3 cat3, cat4
4 cat5

我想拆分每个字符串并创建 « n » 新列,其中 « n » 是可能类别的数量(此处 n = 5,但实际上它可能超过 50)。
每个新列都将包含一个表示类别存在/不存在的 bool 值,例如:

   cat1  cat2  cat3  cat4  cat5
1 TRUE TRUE TRUE FALSE FALSE
2 TRUE TRUE FALSE FALSE FALSE
3 FALSE FALSE TRUE TRUE FALSE
4 FALSE FALSE FALSE FALSE TRUE

如何仅使用 sparkR api 执行此操作?

感谢您的宝贵时间。
问候。

最佳答案

让我们从导入和虚拟数据开始:

library(magrittr)

df <- createDataFrame(sqlContext, data.frame(
categories=c("cat1,cat2,cat3", "cat1,cat2", "cat3,cat4", "cat5")
))

分隔字符串:

separated <- selectExpr(df, "split(categories, ',') AS categories")

获取不同的类别:

categories <- select(separated, explode(separated$categories)) %>% 
distinct() %>%
collect() %>%
extract2(1)

构建表达式列表:

exprs <- lapply(
categories, function(x)
alias(array_contains(separated$categories, x), x)
)

选择并检查结果

select(separated, exprs) %>% head()
## cat1 cat2 cat3 cat4 cat5
## 1 TRUE TRUE TRUE FALSE FALSE
## 2 TRUE TRUE FALSE FALSE FALSE
## 3 FALSE FALSE TRUE TRUE FALSE
## 4 FALSE FALSE FALSE FALSE TRUE

关于r - 使用SparkR,如何将字符串列拆分为 'n'多列?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35919194/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com