apache-spark - teradata jdbc jar 未在 spark 中加载

Question

我正在尝试在 spark 中加载 teradata jar 文件，但无法加载它。我像这样启动 spark shell:

spark-shell --jars ~/*.jar --driver-class-path ~/*.jar

在那里我有一个名为 terajdbc4.jar 的 jar 文件

当 spark shell 启动时...我这样做

scala> sc.addJar("terajdbc4.jar")
15/12/07 12:27:55 INFO SparkContext: Added JAR terajdbc4.jar at http://1.2.4.4:41601/jars/terajdbc4.jar with timestamp 1449509275187

scala> sc.jars
res1: Seq[String] = List(file:/home/user1/spark-cassandra-connector_2.10-1.0.0-beta1.jar)

scala> 

但它不在 jar 里。为什么还不见了？

编辑:

好的。我已加载 jar，但出现此错误:

java.lang.ClassNotFoundException: com.teradata.jdbc.TeraDriver

我做了以下事情:

scala> sc.jars
res4: Seq[String] = List(file:/home/user/terajdbc4.jar)

scala> import com.teradata.jdbc.TeraDriver
import com.teradata.jdbc.TeraDriver

scala> Class.forName("com.teradata.jdbc.TeraDriver")
res5: Class[_] = class com.teradata.jdbc.TeraDriver

然后是:

val jdbcDF = sqlContext.load("jdbc", Map(
  "url" -> "jdbc:teradata://dbinstn, TMODE=TERA, user=user1, password=pass1",
  "dbtable" -> "db1a.table1a",
  "driver" -> "com.teradata.jdbc.TeraDriver"))

然后我明白了:

java.lang.ClassNotFoundException: com.teradata.jdbc.TeraDriver

Answer 1

spark-shell --jars ~/*.jar --driver-class-path ~/*.jar

请引用Using wildcards in java classpath
不支持*.jar等通配符，请尝试添加具体的jar文件路径。