python - 无法使用 databricks-connect "V2"V.13.2 访问 databricks 集群

Question

尝试使用 databricks-connect 13.2.0 执行本地 Spark 代码时，它不起作用。

我有以下问题:

错误:

• details = “INVALID_STATE:集群 xxxxx 不是共享集群或单用户集群。(requestId=05bc3105-4828-46d4-a381-7580f3b55416)”
• debug_error_string = “未知:从对等方收到错误 {grpc_message:”INVALID_STATE:集群 0711-122239-bb999j6u 不是共享集群或单用户集群。 (requestId=05bc3105-4828-46d4-a381-7580f3b55416)", grpc_status:9,created_time:"2023-07-11T15:26:08.9729+02:00"}"

集群是共享的，我尝试了几种集群配置，但它不起作用!集群运行时版本为13.2。

另外，我使用:

• Python 3.10
• openjdk 版本“1.8.0_292”
• Azure Databricks

有人在使用新的 databricks connect 时遇到过类似的问题吗？

感谢您的帮助!

我尝试了以下代码:

from databricks.connect import DatabricksSession
from pyspark.sql.types import *

from delta.tables import DeltaTable
from datetime import date


if __name__ == "__main__":
    spark = DatabricksSession.builder.getOrCreate()

    # Create a Spark DataFrame consisting of high and low temperatures
    # by airport code and date.
    schema = StructType([
        StructField('AirportCode', StringType(), False),
        StructField('Date', DateType(), False),
        StructField('TempHighF', IntegerType(), False),
        StructField('TempLowF', IntegerType(), False)
    ])

    data = [
        [ 'BLI', date(2021, 4, 3), 52, 43],
        [ 'BLI', date(2021, 4, 2), 50, 38],
        [ 'BLI', date(2021, 4, 1), 52, 41],
        [ 'PDX', date(2021, 4, 3), 64, 45],
        [ 'PDX', date(2021, 4, 2), 61, 41],
        [ 'PDX', date(2021, 4, 1), 66, 39],
        [ 'SEA', date(2021, 4, 3), 57, 43],
        [ 'SEA', date(2021, 4, 2), 54, 39],
        [ 'SEA', date(2021, 4, 1), 56, 41]
    ]

    temps = spark.createDataFrame(data, schema)

    print(temps)

我希望通过远程 Spark 执行在本地终端中显示数据帧

Answer 1

Databricks Connect V2 需要支持 Unity Catalog 的集群 - 它在 requirements 中明确指出。看起来您正在使用数据访问模式“无隔离共享”，或者您根本没有 Unity Catalog。如果您有 Unity Catalog，请确保您在“访问模式”下拉列表中选择了单用户 或共享。