azure - 将 HDInsight 群集升级/迁移到最新版本

Question

我确定这已发布在某处或已传达，但我似乎找不到有关从 HDInsight 群集从一个版本升级/迁移到下一个版本的任何信息。

一些背景知识。自 2014 年 1 月 24 日起，我们一直使用 Hive 和 HDInsight 来存储所有 IIS 日志。我们喜欢它，它为我们的团队提供了很好的洞察力。

我最近正在审查http://azure.microsoft.com/en-us/documentation/articles/hdinsight-component-versioning/并注意到我们的 HDInsight 版本 (2.1.3.0.432823) 不再受支持，并将于 5 月份弃用。这让我开始思考如何进入 3.2 版本。我似乎找不到任何关于如何做到这一点的信息。

有谁知道这是否可能以及如何实现？

Answer 1

HDInsight 使用 Azure 存储来存储持久数据，因此只要您使用 wasb://*/* 来存储数据，您就应该能够创建新集群并指向旧数据。存储地点。本文对存储架构进行了很好的概述:http://azure.microsoft.com/en-us/documentation/articles/hdinsight-use-blob-storage/

如果您正在使用 Hive 并且尚未设置自定义元存储，那么您可能需要保存或重新创建一些表。这是一篇涵盖其中一些场景的博客文章:http://blogs.msdn.com/b/bigdatasupport/archive/2014/05/01/hdinsight-backup-and-restore-hive-table.aspx

您可以配置新集群并将现有集群的存储容器添加为“附加”存储帐户来测试此功能，而无需先关闭当前集群。 Just be sure not to have both clusters using the same container as their default storage .