python - 在 Databricks 中将变量从 Scala 传递到 Python

Question

我正在使用 Databricks 并尝试在同一个 Scala 笔记本中将数据帧从 Scala 传递到 Python。我使用以下方法将数据框从 Python 传递到 Spark:

%python
python_df.registerTempTable("temp_table")


val scalaDF = table("temp_table")

如何反过来做同样的事情？非常感谢!!

Answer 1

反之亦然。在 Scala 中:

scalaDF.registerTempTable("some_table")

在 Python 中:

spark.table("some_table")

如果您使用最新的 Spark 版本，您应该使用 createOrReplaceTempView 代替 registerTempTable。