gpt4 book ai didi

database - Hive 表存储在 Azure 存储帐户中的什么位置?

转载 作者:行者123 更新时间:2023-12-02 07:22:58 25 4
gpt4 key购买 nike

如果我使用 Hive 创建表,该表本身存储在 Azure 存储帐户中的什么位置?

我的意图是我想复制表和元存储来复制它。

最佳答案

From micro soft docs,如果不指定,(如果是外部表...)数据库和表默认存储在Hive集群默认容器的hive/warehouse/目录中。

您还可以使用这些选项,

情况:hive 命令:如果您想通过命令了解它,将给出其存储位置。

describe formatted <table name>

情况:如果您使用 Spark

def getHiveTablePath(tableName: String, spark: SparkSession):String =
{
import org.apache.spark.sql.functions._
val sql: String = String.format("desc formatted %s", tableName)
val result: DataFrame = spark.sql(sql).filter(col("col_name") === "Location")
result.show(false) // just for debug purpose
val info: String = result.collect().mkString(",")
val path: String = info.split(',')(1)
path
}

示例:

调用者将是

    println(getHiveTablePath("src", spark)) // you can prefix schema if you have

结果(我在本地so文件中执行:/下面如果它的hdfs hdfs://会来):

+--------+------------------------------------+-------+
|col_name|data_type |comment|
+--------+--------------------------------------------+
|Location|file:/Users/hive/spark-warehouse/src| |
+--------+------------------------------------+-------+

file:/Users/hive/spark-warehouse/src

关于database - Hive 表存储在 Azure 存储帐户中的什么位置?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61674346/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com