azure - HDInsight Azure Blob存储更改

Question

在HDInsight群集上，使用CREATE EXTERNAL语句创建一个Hive表:

CREATE EXTERNAL TABLE HTable(t1 string, t2 string, t3 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS TEXTFILE LOCATION 'wasb://$containerName@$storageAccountName.blob.core.windows.net/HTable/data/';

然后更改了一些现有文件，将某些文件添加到CREATE语句中提到的Azure Blob容器中。

新的配置单元查询是否考虑对Blob容器所做的更改，而无需再次将数据加载到配置单元表中？

Answer 1

是的，您的表定义保存在Hive元存储中。随后，您可以简单地查询HTable，数据就在那里。通常，HDInsight上的Hive遵循适用于Hive和HDFS的相同规则。

要进行更高级的讨论，您可以玩一些技巧，但是您需要知道自己在做什么。由于HDInsight存储可以在群集生命周期中幸存，因此使用HDInsight拆除群集并重新部署新的HDInsight群集仍然可行，并且仍然具有Hive数据。您甚至可以保留Hive元存储，也可以保留单独的数据库(SQL Azure DB)。对于基于HDFS的群集，群集的回收会导致所有HDFS数据丢失。