作者热门文章
- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个 Spark 实例,我正在尝试连接到现有的 Netezza 数据仓库应用程序以检索一些数据。
使用SparkSQL的SQLContext
,并根据Spark SQL Programming Guide ,这可以通过 read
方法来实现。我确定需要使用 --jars
标志提供 JDBC 驱动程序,而不是文档中的 SPARK_CLASSPATH
。操作看起来像
// pyspark
df = sqlContext.read.format('jdbc').options( ... ).load()
// spark-shell
val df = sqlContext.read.format("jdbc").options( ... ).load()
我可以找到一些有关使用 JDBC 连接到 Netezza 的文档,但找不到如何正确传递用户名和密码。我需要在这里传递哪些“选项”?
最佳答案
在pyspark
df = sqlContext.read.format('jdbc').options(url='jdbc:netezza://server1:5480/DATABASE', \
user='KIRK', password='****', dbtable='SCHEMA.MYTABLE', \
driver='org.netezza.Driver').load()
以及在spark-shell
val df = sqlContext.read.format("jdbc").options(Map(
"url" -> "jdbc:netezza://server1:5480/DATABASE",
"user" -> "KIRK",
"password" -> "****",
"dbtable" -> "SCHEMA.MYTABLE",
"driver" -> "org.netezza.Driver")).load()
请注意,Netezza 喜欢全部大写的内容。我不知道这是否有必要,但这并没有什么坏处。
关于jdbc - 如何从 Spark SQLContext 连接到 Netezza 数据库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32787225/
我是一名优秀的程序员,十分优秀!