SQL 2016 PolyBase 计算下推到使用 WASBS 又名 Azure Blob 的 Hadoop HDI

Question

我们有一个 Azure Hadoop HDI 系统，其中大部分文件都存储在 Azure 存储帐户 Blob 中。从 Hadoop 访问文件需要 WASBS://文件系统类型。

我想配置 SQL 2016 Polybase 以将计算下推到 HDI 群集，以对 Azure blob 中存储的数据进行某些查询。

可以在 Polybase 中使用 Hadoop 之外的 Azure Blob。我完全理解查询提示“option (FORCE EXTERNALPUSHDOWN)”在 Blob 系统上不起作用。

是否可以配置外部数据源以使用 HDI 在 blob 上进行计算？

典型的外部数据源配置是:

CREATE EXTERNAL DATA SOURCE AzureStorage with (  
        TYPE = HADOOP,   
        LOCATION ='wasbs://<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="e98a859c9a9d8c9b8788848ca99a9d869b888e8c888a8a869c879dc78b85868bc78a869b8cc79e80878d869e9ac7878c9d" rel="noreferrer noopener nofollow">[email protected]</a>',  
        CREDENTIAL = AzureStorageCredential  
); 

我相信只要 WASBS 在那里，下推计算就不会起作用。

如果我将上面的内容更改为使用 HDFS，那么我当然可以指向我的 HDI 集群，但是外部表的位置是什么？

如果这是在 WASBS 中，那么如何在 HDFS 中找到它？LOCATION='/HdiSamples/HdiSamples/MahoutMovieData/'

当然有一种方法可以让 Polybase 将计算下推到文件位于 WASBS 中的 HDI 集群。如果不是，则 Polybase 不支持最常见和推荐的 HDI 设置方式。

我知道上述内容需要考虑很多，并且感谢任何帮助。如果您确实确定不可能，请回答“否”。但请记住，我意识到直接在 Azure Blob 上操作的 Polybase 无法下推计算。我希望 Polybase 连接到 HDI 并让 HDI 在 blob 上进行计算。

编辑

考虑在 Azure 中使用 HDI 进行以下设置。

请注意，默认 Hadoop 文件系统是 WASBS。这意味着使用相对路径(例如/HdiSamples/HdiSamples/MahoutMovieData/user- ratings.txt)将解析为 wasbs://[email protected]/HdiSamples/HdiSamples/MahoutMovieData/user- ratings.txt。

CREATE EXTERNAL DATA SOURCE HadoopStorage with (  
        TYPE = HADOOP,   
        LOCATION ='hdfs://172.16.1.1:8020', 
        RESOURCE_MANAGER_LOCATION = '172.16.1.1:8050', 
        CREDENTIAL = AzureStorageCredential  
);

CREATE EXTERNAL TABLE [user-ratings] (
    Field1 bigint,
    Field2 bigint,
    Field3 bigint,
    Field4 bigint

)
WITH (  LOCATION='/HdiSamples/HdiSamples/MahoutMovieData/user-ratings.txt',
        DATA_SOURCE = HadoopStorage,
        FILE_FORMAT = [TabFileFormat]
    );

Hadoop 中的文件中有很多行。然而，该查询返回 0。

select count(*) from [user-ratings]

当我检查远程查询执行计划时，它显示:

<external_uri>hdfs://172.16.1.1:8020/HdiSamples/HdiSamples/MahoutMovieData/user-ratings.txt</external_uri>

请注意，URI 是绝对路径，并根据外部数据源设置为 HDFS。

查询成功并返回零，因为它正在查找 HDFS 文件系统中不存在的文件/路径。如果没有表，则不会返回“找不到表”。这是正常的。不好的是真实的表存储在 WASBS 中并且有很多行。

这一切意味着，使用 Azure Blob 作为 Hadoop 默认文件系统时，不支持下推计算。建议的设置是使用 Azure Blob，以便存储与计算分开。 PolyBase 不支持此设置是没有意义的，但到目前为止它似乎不支持它。

如果我错了，我会保留这个问题。我真的想错了。

Answer 1

如果您希望 PolyBase 将计算下推到任何 hadoop/HDI 集群，则需要在创建外部数据源时指定 RESOURCE_MANAGER_LOCATION。 RESOURCE_MANAGER_LOCATION 告诉 SQL Server 在哪里提交 MR 作业。