java - Spark : How RDD. map/mapToPair 使用 Java-6ren

java - Spark : How RDD. map/mapToPair 使用 Java

转载作者：塔克拉玛干更新时间：2023-11-01 22:22:20

24

4

我有一些 cw 对(整数 i，字符串字)，在文本文件中有 i 个 word 出现的次数。

我只想为每一对添加一个新的对 c1 (Integer i, 1) 和 1 个固定数字。

这看起来真的很琐碎，但我一直不明白 map/mapToPair 函数实际上是如何工作的。

JavaPairRDD<Integer, Integer> c1 = cw.map(??? -> new Tuple2<Integer, Integer>(??, 1));

我正在使用 Java-8 工作。

最佳答案

如果我没理解错的话，你有下面的 JavaPairRDD。

JavaPairRDD<Integer, String> cw = ...;

现在你想在 JavaPairRDD 下面创建第二个值为 1 的地方。

JavaPairRDD<Integer, Integer> c1;

为了得到这个，首先你必须从 cw JavaPairRDD 中提取 JavaRDD，为此你必须调用 map 函数，如下所示。我们将从对中提取第一个值。

JavaRDD<Integer> cw1 = cw.map(tuple -> tuple._1());

现在您将使用 mapToPair 函数从 JavaRDD 创建新的 JavaPairRDD，如下所示。

JavaPairRDD<Integer, Integer> c1 = cw1.mapToPair(i -> new Tuple2<Integer, Integer>(i, 1));

在一行中你可以这样写

JavaPairRDD<Integer, Integer> c1 = cw.map(tuple -> tuple._1()).mapToPair(i -> new Tuple2<Integer, Integer>(i, 1));

关于java - Spark : How RDD. map/mapToPair 使用 Java，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41058998/

24

4

0

文章推荐： java - 使用 Java 创建多页 Tiff

文章推荐： java - JVM作为一个进程的内存细节

文章推荐： java - 如何从查询字符串中删除查询参数

文章推荐： java - 附加两个十进制数字字符串并解析为 double

python - Pyspark 通过 RDD 中的键从单个 RDD 到多个 RDD
我是 Pyspark 新手，我使用的是 Spark 2.0.2。我有一个名为 Test_RDD 的 RDD，其结构如下: U-Key || V1 || V2 || V3 || ----
python - 如何使用 PySpark 将一个 RDD 拆分为两个 RDD 并将结果保存为 RDD？
我正在寻找一种方法将一个 RDD 拆分为两个或多个 RDD，并将获得的结果保存为两个单独的 RDD。例如: rdd_test = sc.parallelize(range(50), 1) 我的代码:
scala - Spark 斯卡拉 : Filter RDD if the record of the RDD doesn't exist in another RDD
我有一个结构如下的RDD: ((user_id,item_id,rating)) 让我们将此 RDD 称为训练然后还有另一个具有相同结构的rdd: ((user_id,item_id,rating)
split - 如何在给定每个 RDD 的最大行数且不使用 ID 列的情况下将 RDD 拆分为多个(较小的)RDD
已经有人问过类似的问题。最相似的是这个: Spark: How to split an RDD[T]` into Seq[RDD[T]] and preserve the ordering 但是，我不
hadoop - 如何在 Spark 上运行 rdd.map 函数后获取 rdd(如何使用 rdd.insertInto)
我正在使用 spark 来处理数据。但是我不知道如何将新数据保存到Hive 我从 Hive 加载 rdd，然后运行 map 函数来清理数据。 result = myRdd.map(lambda x
scala - 如何在其他 RDD 映射方法中使用 RDD？
我有一个名为 index 的 rdd:RDD[(String, String)]，我想用 index 来处理我的文件。这是代码: val get = file.map({x => val tmp
scala - 根据一个 RDD 中的键过滤另一个 RDD
我有两个 RDD: **rdd1** id1 val1 id2 val2 **rdd2** id1 v1 id2 v2 id1 v3 id8 v7 id1 v4 id3 v5 id6 v6 我想过滤
scala - RDD 访问另一个 RDD 中的值
我有一个 RDD，需要从另一个 RDD 访问数据。但是，我总是收到任务不可序列化错误。我已经扩展了 Serialized 类，但它没有起作用。代码是: val oldError = rddOfRati
scala - RDD 访问另一个 RDD 中的值
我有一个 RDD，需要从另一个 RDD 访问数据。但是，我总是收到任务不可序列化错误。我已经扩展了 Serialized 类，但它没有起作用。代码是: val oldError = rddOfRati
scala - 将 RDD 拆分为没有重复值的 RDD
我有一个 RDD 对: (105,918) (105,757) (502,516) (105,137) (516,816) (350,502) 我想将它分成两个 RDD，这样第一个只有具有非重复值的对
scala - 如何将 RDD 中的每个元素与 RDD 中的每个其他元素进行比较？
我正在尝试使用 spark 执行 K 最近邻搜索。我有一个 RDD[Seq[Double]] 并且我打算返回一个 RDD[(Seq[Double],Seq[Seq[Double]])] 带有实际行和
scala - Spark : How to union a List to RDD
我是Spark和Scala语言的新手，并且希望将所有RDD合并到一个List中，如下所示(List to RDD): val data = for (item {
apache-spark - 参加 rdd 并保持 rdd
我找不到只参与 rdd 的方法. take看起来很有希望，但它返回 list而不是 rdd .我当然可以将其转换为 rdd ，但这似乎既浪费又丑陋。 my_rdd = sc.textFile("my
apache-spark - 如何将一个 RDD 拆分为两个或多个 RDD？
我正在寻找一种将 RDD 拆分为两个或更多 RDD 的方法。我见过的最接近的是 Scala Spark: Split collection into several RDD?这仍然是一个单一的 RDD
scala - 如何从 RDD 中创建 RDD 集合？
我有一个RDD[String]，wordRDD。我还有一个从字符串/单词创建 RDD[String] 的函数。我想为 wordRDD 中的每个字符串创建一个新的 RDD。以下是我的尝试: 1) 失败，
scala - Spark : How to transform a Seq of RDD into a RDD
我刚刚开始使用 Spark 和 Scala 我有一个包含多个文件的目录我使用成功加载它们 sc.wholeTextFiles(directory) 现在我想升一级。我实际上有一个目录，其中包含包含文
scala - 从另一个 RDD 中减去一个 RDD 无法正常工作
我想从另一个 RDD 中减去一个 RDD。我查看了文档，发现 subtract可以这样做。实际上，当我测试时 subtract , 最终的 RDD 保持不变，值不会被删除! 有没有其他功能可以做到这一
scala - 根据另一个 RDD 的第一个字段的值检索现有 RDD 的第二个字段的值
我在 HDFS 中有如下三个文件中的数据 EmployeeManagers.txt (EmpID,ManagerID) 1,5 2,4 3,4 4,6 5,6 EmployeeNames.txt (E
java - 当我调用 rdd.join(rdd) 时发生了什么
我正在开发一个应用程序，我需要对 RDD 中具有相同键的每对行执行计算，这是 RDD 结构: List>> dat2 = new ArrayList<>(); dat2.add(new Tuple2>
python - pyspark:根据另一个 RDD 的某些列过滤一个 RDD
我在 spark 集群中有两个文件，foo.csv 和 bar.csv，它们都有 4 列和完全相同的字段:时间、用户、url、类别。我想通过 bar.csv 的某些列过滤掉 foo.csv。最后，我

首页

博学

6Ren·AI

商城

java - Spark : How RDD. map/mapToPair 使用 Java