azure - 将 Azure blob 与 Hadoop 结合使用时配置 defaultFS

Question

我们正在尝试将 azure blob 存储与 Hadoop 结合使用。问题是我们必须在 core-site.xml 中设置 fs.defaultFS 属性，但在我们的例子中，我们收到了错误。文件和错误均如下所示:

    <property>
      <name>fs.AbstractFileSystem.wasb.impl</name>
      <value>org.apache.hadoop.fs.azure.Wasb</value>
    </property>

    <property>
      <name>fs.azure.account.key.OUR_STORAGE_ACCOUNT.blob.core.windows.net</name>
      <value>"OUR_KEY"</value>
    </property>

    <property>
      <name>fs.defaultFS</name>
      <value>wasb://blob-hdfs@OUR_STORAGE_ACCOUNT.blob.core.windows.net</value>
    </property>

现在启动时出错:

java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): wasb://blob-hdfs@OUR_STORAGE_ACCOUNT.blob.core.windows.net is not of scheme 'hdfs'.    

hadoop-azure 和 azure-storage 的 jar 文件都是类路径的一部分

有关如何解决此错误的任何帮助吗？

Answer 1

您不需要启动名称节点，请参阅https://blogs.msdn.microsoft.com/cindygross/2015/02/04/understanding-wasb-and-hadoop-storage-in-azure/

根据您当前的设置 (WASB)，您将收到 NameNode 地址的 URI 无效，但您仍然应该能够正常访问您的 hdfs。

如果您可以执行hdfs dfs -ls/，那么您的 WASB 配置就没有问题。