Azure Spark SQL 与 U-SQL

Question

我有很多数据文件，最终会定期推送并存储在 Azure 存储/数据湖上。我想提供对此数据进行分析的能力，但后来我发现在 Azure 上有两种方法:

1. U-SQL/Azure Data Lake 查询(可视化？？？)
2. 在 Azure 和 Zeppelin 上使用 Spark 生成 Spark SQL

有人可以建议我何时使用这种方法中的哪一种吗？在我看来，两者都可以完成类似的工作。

Answer 1

您可以将 U-SQL 视为 Microsoft 版本的 Spark SQL，您可以在其中编写 SQL Server 风格的 SQL 并使用 C# 中的用户定义函数进行扩展。使用 Spark 时，您可以编写半 MySQL 风格的 SQL，并使用 Scala 或 Python 对其进行扩展。

如果您熟悉 Scala 或 Python，那么选择 HDI​​nsight 可能是最佳选择。 Spark 附带了 GraphX 和 MLLib，目前在数据湖分析中还没有类似的产品。此外，如果您需要在 Azure 之外运行的东西，那么 SparkSQL 是您唯一的选择。

另一个需要考虑的重要方面是定价。 Data Lake Analytics 仅在查询执行时才会产生费用，但 HDInsight 只要群集运行就会产生费用。根据数据的大小和查询的复杂性，数据湖分析可能会更便宜，因为在配置时您无需付费。