apache-spark - 如何在 Google Dataproc 主节点上启用 pyspark HIVE 支持

Question

我创建了一个 dataproc 集群并手动安装 conda 和 Jupyter notebook。然后，我通过 conda 安装 pyspark。我可以成功运行 Spark

from pyspark import SparkSession
sc = SparkContext(appName="EstimatePi")

但是，我无法启用 HIVE 支持。下面的代码被卡住并且不返回任何内容。

from pyspark.sql import SparkSession
spark = (SparkSession.builder
         .config('spark.driver.memory', '2G')
         .config("spark.kryoserializer.buffer.max", "2000m")
         .enableHiveSupport()
         .getOrCreate())

Python 2.7.13 版，Spark 2.3.4 版

有什么方法可以启用 HIVE 支持？

Answer 1

Cloud Dataproc 现在可以选择在 dataproc 集群中安装可选组件，并且还可以通过网关轻松访问它们。您可以在此处找到安装 Jupyter 和 Conda 的详细信息 - https://cloud.google.com/dataproc/docs/tutorials/jupyter-notebook

组件网关的详细信息可以在这里找到 - https://cloud.google.com/dataproc/docs/concepts/accessing/dataproc-gateways .请注意，这是阿尔法。