gpt4 book ai didi

java - 如何将自定义 Java 类转换为 Spark 数据集

转载 作者:塔克拉玛干 更新时间:2023-11-02 19:51:45 26 4
gpt4 key购买 nike

我想不出在 Spark 中将测试对象列表转换为数据集的方法这是我的课:

public class Test {
public String a;
public String b;
public Test(String a, String b){
this.a = a;
this.b = b;
}

public List getList(){
List l = new ArrayList();
l.add(this.a);
l.add(this.b);

return l;
}
}

最佳答案

您在注释中创建 DataFrame 的代码是正确的。但是,您定义 Test 的方式存在问题。您只能使用来自 Java Beans 的代码创建 DataFrame。您的 Test 类不是 Java Bean .修复该问题后,您可以使用以下代码创建 DataFrame:

Dataset<Row> dataFrame = spark.createDataFrame(listOfTestClasses, Test.class);

和这些行来创建类型化数据集:

Encoder<Test> encoder = Encoders.bean(Test.class);
Dataset<Test> dataset = spark.createDataset(listOfTestClasses, encoder);

关于java - 如何将自定义 Java 类转换为 Spark 数据集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41118998/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com