gpt4 book ai didi

python - Spark python 如何使用特殊标记对 RDD 项进行分组?

转载 作者:太空宇宙 更新时间:2023-11-04 05:27:16 24 4
gpt4 key购买 nike

<分区>

我有一个很大的文件(a.txt)如下,文件中有一个特殊的标记将数据分成组

a1
a2
$$$$$$$$
a1
c1
b1
c2
$$$$$$$$
d1
d2
$$$$$$$$
...

我想使用如下 python 代码:

line = sc.textFile("a.txt")
line1 = line.filter() or line.filter.map()...
...

将组项分成几个组,如下所示:(a1,a2), (a1, c1, b1,c2), (d1, d2)....但不知道该怎么做,有人可以帮忙吗?

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com