azure - HDInsight : HBase or Azure Table Storage?

Question

目前，我的团队正在创建一个使用 HDInsight 的解决方案。我们每天将获取 5TB 的数据，并且需要对这些数据执行一些映射/归约作业。如果我们的数据存储在 Azure 表存储而不是 Azure HBase 中，性能/成本会有什么差异吗？

Answer 1

主要区别在于功能和成本。

Azure 表存储本身没有附加映射缩减引擎，不过您当然可以使用映射缩减方法来编写自己的引擎。

您可以使用 Azure HDInsight 将 MapReduce 连接到表存储。有几个连接器，包括我编写的一个，它专注于 hive，需要一些配置，并且可能不适合您的分区方案( http://www.simonellistonball.com/technology/hadoop-hive-inputformat-azure-tables/ )，以及 Microsoft 某人提供的不太注重性能但更完整的版本( http://blogs.msdn.com/b/mostlytrue/archive/2014/04/04/analyzing-azure-table-storage-data-with-hdinsight.aspx )。

表存储的主要优点是您不需要不断地承担处理成本。

如果您使用 HBase，则需要始终运行完整的集群，因此存在成本劣势，但是，您将获得一些功能和性能提升，此外，如果您愿意的话，您还将获得一些更便携的东西希望使用其他hadoop平台。您还可以通过 HBase 选项访问更广泛的分析功能。