scala - Spark - scala - 如何检查配置单元中是否存在表

Question

我必须使用spark(1.6.2) scala检查hive中是否存在表

如果没有，我必须创建一个空数据框并将其保存为配置单元表。

如果存在，则覆盖现有表。

我需要一个返回 bool 值的函数，基于该函数我可以做出上述决定(是否创建新表或覆盖现有表)

Answer 1

1.x:

def tableExists(table: String, sqlContext: SQLContext) =
  sqlContext.tableNames.contains(table)

2.x:

def tableExists(table: String, spark: SparkSession) =
  spark.catalog.tableExists(table)

2.1.x 或更高版本。

您可以使用spark.catalog.tableExists。积分转到 Huseyin Oktay对于 pointing that out .