mysql - Spark框架中使用Scala IDE从Mysql数据库加载数据

Question

我有这个问题。 IDE Scala 给我一个错误，因为它说 sqlContext.read.format("jdbc").options(options) 中的 read 方法不属于 SQLContext 对象。我需要添加依赖吗？

然后我不知道需要为 DataFrame 和 Row 对象添加哪个库。

这是代码。

import java.util.HashMap;
import java.util.Map;

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.sql.SQLContext;



public class caricaDati {

  public static void main(String[] args) {
    Map<String, String> options = new HashMap<String, String>();
    options.put("url",
            "jdbc:mysql://localhost:3306/banche?user=..&password=...");
    options.put("dbtable", "t_analisi_banche_021");
    SparkContext sc = new SparkContext(new SparkConf().setAppName("DBConnection").setMaster("local[*]"));
    SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);
    DataFrame jdbcDF = sqlContext.read.format("jdbc").options(options);
    System.out.println("Data------------------->" + jdbcDF.toJSON().first());
    Row[] rows = jdbcDF.collect();

  }
} 

Answer 1

您是否尝试过使用org.apache.spark.sql.hive.HiveContext？此类很好地扩展了SQLContext 的功能。