java - Apache Spark 使用 Java 从 CSV 读取数组 float

Question

这个问题已经有答案了:

Load CSV data in to Dataframe and convert to Array using Apache Spark (Java) (2 个回答)

已关闭 4 年前。

我正在使用 Java 处理一个新的 Spark 项目。我必须从 CSV 文件中读取一些数据，这些 CSV 有一个 float 数组，我不知道如何在我的数据集中获取这个数组。

我正在读取此 CSV:

[CSV data image][1] https://imgur.com/a/PdrMhev

我正在尝试以这种方式获取数据:

Dataset<Row> typedTrainingData = sparkSession.sql("SELECT CAST(IDp as String) IDp, CAST(Instt as String) Instt, CAST(dataVector as String) dataVector FROM TRAINING_DATA");

我明白了:

root
 |-- IDp: string (nullable = true)
 |-- Instt: string (nullable = true)
 |-- dataVector: string (nullable = true)

+-------+-------------+-----------------+
|    IDp|        Instt|       dataVector|
+-------+-------------+-----------------+
|    p01|      V11apps|-0.41,-0.04,0.1..|
|    p02|      V21apps|-1.50,-1.50,-1...|
+-------+-------------+-----------------+

正如您在架构中看到的，我将数组读取为字符串，但我想获取数组。有推荐吗？

我想在加载的数据中使用 MLlib 的一些机器学习算法，因此我想以数组形式获取数据。

谢谢大家!!!!!!

Answer 1

首先定义您的架构，

StructType customStructType = new StructType();
        customStructType = customStructType.add("_c0", DataTypes.StringType, false);
        customStructType = customStructType.add("_c1", DataTypes.StringType, false);
        customStructType = customStructType.add("_c2", DataTypes.createArrayType(DataTypes.LongType), false);

然后您可以将 df 映射到新架构，

    Dataset<Row> newDF = oldDF.map((MapFunction<Row, Row>) row -> {

        String strings[] = row.getString(3).split(","); 
        long[] result = new long[strings.length];
        for (int i = 0; i < strings.length; i++)
        result[i] = Long.parseLong(strings[i]);

        return RowFactory.create(row.getString(0),row.getString(1),result);
    }, RowEncoder.apply(customStructType));