SQL Server连接Hadoop——实现的思考与挑战

Question

我想提出 SQL Server 的 Hadoop 发行版 HDInsight 的问题。

鉴于提供了与 Hadoop 的连接，有没有人有使用 HDInsight 的经验，特别是在现实生活中的 DTP 场景或个人 1 节点安装中比较 Hadoop/SQL Server 连接器和 HDIinsight/SQL Server？

http://sqlmag.com/blog/use-ssis-etl-hadoop

http://www.microsoft.com/en-us/download/details.aspx?id=27584

http://www.microsoft.com/en-us/sqlserver/solutions-technologies/business-intelligence/big-data.aspx

Answer 1

HDInsight是 Microsoft 为在 Azure 中使用而维护的 Hadoop 发行版。您可以将其粗略地与 Amazon Elastic MapReduce 进行比较.它们都旨在成为几乎没有管理开销的托管 Hadoop 服务。

Hortonworks Data Platform for Windows包含 Hortonworks 和 Microsoft 合作使 Hadoop 在 Windows 上良好运行的开源更改。 HDP 不是 HDInsight。

简而言之 - 如果您想在 Windows 环境中运行 Hadoop，则无需使用 HDInsight。

虽然我不能直接谈论使用 HDInsight 和在 SQL Server 之间来回移动数据，但我已经实现了 data processing solution using SQL Server, Hadoop, and Elastic MapReduce .除非出现一些数据质量问题和 BULK INSERT 异常，否则该过程很轻松。

最后，您会问“我们真的要在 Windows 服务器上运行 Hadoop 大小的数据集吗？” - Windows 运行良好，并拥有可靠的工具。我一直对在 Windows 上运行 Hadoop 和其他 Java 平台软件持怀疑态度，因为遗留的 Java I/O 问题和缺乏社区支持，而不是因为任何性能问题。

Windows 公司在转向 Hadoop 时会发现的最大问题是，当问题变成 Hadoop + Windows 问题时，社区论坛和 channel 的支持将受到限制。人们很容易举手说“不，不帮忙，没有 Windows”。随着时间的推移和采用，这个问题就会消失。此外，没有人说你必须在开始的同一个平台上完成。您可以在 Windows 上轻松部署 HDP，并在以后迁移到 Linux 上的 HDP。

我整理了一些 SQL Server and Hadoop basics for DBAs这应该会有帮助。