apache-spark - 您必须使用 Hive 构建 Spark。导出 'SPARK_HIVE=true'

Question

我正在尝试在 Bluemix 上运行的 Analytics for Apache Spark 上运行笔记本，但我遇到了以下错误:

Exception: ("You must build Spark with Hive. Export 'SPARK_HIVE=true' and 
run build/sbt assembly", Py4JJavaError(u'An error occurred while calling 
None.org.apache.spark.sql.hive.HiveContext.\n', JavaObject id=o38))

错误是间歇性的 - 它并不总是发生。有问题的代码行是:

df = sqlContext.read.format('jdbc').options(
            url=url, 
            driver='com.ibm.db2.jcc.DB2Driver', 
            dbtable='SAMPLE.ASSETDATA'
        ).load()

stackoverflow 上有一些类似的问题，但他们并没有询问 bluemix 上的 spark 服务。

Answer 1

在使用 SQLContext 之前创建一个新的 sqlContext 对象:

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

然后再次运行代码。

如果您有多个笔记本使用开箱即用的 sqlContext ，则会发生此错误。