java - 如何在 Java Spark 中将 avro 文件读取为对象列表

Question

我有一个 avro 文件，我想在将其转换为代表对象后对其进行读取和操作

我尝试在 Java Spark 中使用 RDD 和 DataSet 加载它，但在这两种情况下我都无法转换为所需的对象

作为数据集

Dataset<MyClass> input = sparkSession.read().format("com.databricks.spark.avro").load(inputPath)
                .as(Encoders.bean(MyClass.class)); 

此操作失败，并出现错误“在 bean 类中不能有循环引用，但获得了类 org.apache.avro.Schema 的循环引用”

作为RDD

JavaRDD<String> input = sparkContext.textFile(inputPath);

如何将此 RDD 对象转换为 RDD 对象或 Dataset 对象？

我对此很陌生，所以如果我缺少一些基本的东西但无法找到可行的解决方案，请原谅我。

Answer 1

这是通过使用 https://github.com/CeON/spark-utils 中的 SparkAvroLoader 解决的