azure - 我们可以使用 ATS 的 HDInsight 服务吗？

Question

我们有一个名为 Xtrace 的日志系统。我们使用该系统在 SQL Azure 数据库中转储日志、异常、跟踪等。然后，运维团队使用这些数据进行调试、SCOM 目的。考虑到 SQL Azure 的 150 GB 限制，我们正在考虑使用 HDInsight(大数据)服务。

1. 如果我们将数据转储到 Azure 表存储中，HDInsight 服务是否可以针对 ATS 工作？

2. 或者它仅适用于 Blob 存储，这意味着日志记录需要在 Blob 存储上创建为文件？

   1. 最后一个问题。考虑到我上面解释的场景，使用 HDInsight 服务是否是一个好的选择？

Answer 1

HDInsight 将使用 HDFS 或通过 Azure 存储库 (ASV) 映射到 HDFS 的 Blob 存储中的内容，这实际上在 Blob 存储之上提供了 HDFS 层。后者是推荐的方法，因为您可以将大量内容写入 blob 存储，并且这可以很好地映射到可供 HDInsight 作业稍后使用的文件系统。这对于日志/跟踪之类的东西非常有用。想象一下每小时日志写入特定容器内的单独 blob。然后，您将创建 HDInsight 群集，并将其附加到同一存储帐户。然后指定输入目录就变得非常简单，该目录映射到指定存储容器内的文件，然后就可以开始了。

您还可以将数据存储在Windows Azure SQL DB(旧命名:“SQL Azure”)中，并使用名为Sqoop的工具将数据直接从SQL DB导入HDFS进行处理。但是，您将受到问题中提到的 150GB 限制。

没有从表存储到 HDFS 的内置映射；您需要创建某种类型的转换器来从表存储中读取数据并写入文本文件进行处理(但我认为直接写入文本文件会更有效，无需进行批量读/写，为您的数据做准备) HDInsight 处理)。当然，如果您对日志记录数据执行非 HDInsight 查询，那么最初存储到表存储中，然后在启动 HDInsight 作业时提取所需的特定数据可能确实有益。

有一些HDInsight documentation Azure 门户提供了有关 HDFS + Azure Storage Vault 的更多详细信息。