gpt4 book ai didi

apache-spark - 使用Java在Spark中进行映射

转载 作者:行者123 更新时间:2023-12-02 22:06:32 24 4
gpt4 key购买 nike

我的文件名为 myFile ,格式如下:

1,A,2,B
1,A,3,C
2,B,4,D

我想将每行的第二个索引值映射到该行本身:
A -> 1,A,2,B
A -> 1,A,3,C
B -> 2,B,4,D

如何使用Spark Java实现此目标?

最佳答案

这就是我实现的方式

JavaPairRDD<String, String> pairs = myFile.mapToPair(s->new Tuple2<>(s.split(",")[1], s));

关于apache-spark - 使用Java在Spark中进行映射,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60473613/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com