scala - 在 Scala 中返回临时 Spark SQL 表

Question

首先，我使用

将 CSV 文件转换为 Spark DataFrame

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("/usr/people.csv")

在那之后键入 df 并返回我可以看到

res30: org.apache.spark.sql.DataFrame = [name: string, age: string, gender: string, deptID: string, salary: string]

然后我使用 df.registerTempTable("people") 将 df 转换为 Spark SQL 表。

但是在那之后，当我做 people 而不是类型表时，我得到了

<console>:33: error: not found: value people

是不是因为people是临时表？

谢谢

Answer 1

当您使用您使用的 registerTempTable 命令注册一个临时表时，它将在您的 SQLContext 中可用。

这意味着以下内容是不正确的，并且会给您带来您遇到的错误:

scala> people.show
<console>:33: error: not found: value people

要使用临时表，您需要使用 sqlContext 调用它。示例:

scala> sqlContext.sql("select * from people")

注意: df.registerTempTable("df")会注册一个名为df的临时表对应于DataFrame df 你应用这个方法。

所以坚持 df 不会坚持表，而是坚持 DataFrame，甚至认为 SQLContext 将使用该 DataFrame。