gpt4 book ai didi

java - 使用 Spark 并行化集合

转载 作者:搜寻专家 更新时间:2023-11-01 01:25:52 24 4
gpt4 key购买 nike

我正在尝试使用 Spark 并行化集合,但文档中的示例似乎不起作用:

List<Integer> data = Arrays.asList(1, 2, 3, 4, 5);
JavaRDD<Integer> distData = sc.parallelize(data);

我正在从记录中创建一个 LabeledPoint 列表,每个记录都包含数据点 (double[]) 和一个标签(默认值:true/false)。

 public List<LabeledPoint> createLabeledPoints(List<ESRecord> records) {
List<LabeledPoint> points = new ArrayList<>();

for (ESRecord rec : records) {

points.add(new LabeledPoint(
rec.defaulted ? 1.0 : 0.0, Vectors.dense(rec.toDataPoints())));
}
return points;
}

public void test(List<ESRecord> records) {
SparkConf conf = new SparkConf().setAppName("SVM Classifier Example");
SparkContext sc = new SparkContext(conf);
List<LabeledPoint> points = createLabeledPoints(records);
JavaRDD<LabeledPoint> data = sc.parallelize(points);
...
}

parallelize 的函数签名不再采用一个参数,这是它在 spark-mllib_2.11 v1.3.0 中的样子:sc.parallelize(seq, numSlices, evidence$1)

那么关于如何让它发挥作用有什么想法吗?

最佳答案

关于java - 使用 Spark 并行化集合,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29180248/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com