java - 无法在 Intellij 平台的 spark 上识别 Java 的 DataFrame

Question

我是 Spark 的新手，我尝试使用 spark 库中包含的 DataFrame 库来操作一些数据。

在执行任务时，我一直遇到错误，表明我的 IDE 无法解析符号 DataFrame。我在网上搜索了相关问题，并按照他们推荐的解决方案进行操作，但结果并没有解决我的问题。

下面是我的代码和错误抛出 Cannot resolve symbol DataFrame。

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SQLContext;


public class Test {
    public static void main(String[] args) throws Exception{
        String inputFile = args[0];
        String outputFile = args[1];
        SparkConf conf = new SparkConf().setAppName("Data Transformation")
                .set("spark.serializer","org.apache.spark.serializer.KryoSerializer")
                .setMaster("local[*]");

        JavaSparkContext sc = new JavaSparkContext(conf);

        SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);

        //below statement throw error in the DataFrame declaration.
        DataFrame df = sqlContext.read().json("examples/src/main/resources/people.json");

        sc.stop();
        sc.close();
    }
}

我的 pom.xml 如下。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.bistel</groupId>
    <artifactId>demo-maven</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.10 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>2.0.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>2.0.1</version>
        </dependency>
    </dependencies>
</project>

虽然我指定了所有相关的库，例如 spark-core 和 spark-sql，但我不知道为什么会出现此错误。我在 Scala 语言上解决了同样的问题，但在 Java 上却做不到。

Answer 1

您缺少 Dataframe 的导入:

import org.apache.spark.sql.DataFrame