java - 使用 wasb blob 存储的 Spark 历史服务器无法启动

Question

我在 Azure 上使用 cloudbreak 安装了 HDP 2.5 Hadoop/Spark 集群。

除 Spark 历史服务器外，一切正常。在日志中它显示了事件日志的默认 uri hdfs:///spark-history为假，缺少主机名。
因此，我将其替换为直接引用 azure blob 存储上的实际位置:wasb://<host>:<port>/spark-history .当与 hdsf dfs -ls 一起使用时，此 uri 有效，但 spark 历史服务器仍然无法启动。现在它提示找不到类:Caused by: java.lang.NoClassDefFoundError: com/microsoft/azure/storage/blob/BlobListingDetails .

所以，它似乎在启动过程中没有加载一些驱动程序。我确实找到了/usr/hdp/current/hadoop-client/lib/azure-storage-2.2.0.jar，可能就是这样。但我不确定如何使用 ambari 配置编辑器在启动期间让历史服务器加载 jar，或者这是否是原始问题的正确解决方案。
最奇怪的是 Azure HDInsight 使用 blob 存储，而 spark 历史服务器只是使用默认的 hdfs:///spark-history 运行。环境。

有关如何加载 azure-storage 驱动程序或解决此问题的任何其他方法的任何建议？

谢谢

Answer 1

我会回答我自己的问题。 hortonworks 社区论坛上有人给出了答案:spark 装配 jar 包含无效的存储 jar。更新程序集 jar 解决了这个问题:

mkdir -p /tmp/jarupdate && cd /tmp/jarupdate
find /usr/hdp/ -name "azure-storage*.jar"
cp /usr/hdp/2.5.0.1-210/hadoop/lib/azure-storage-2.2.0.jar .
cp /usr/hdp/current/spark-historyserver/lib/spark-assembly-1.6.3.2.5.0.1-210-hadoop2.7.3.2.5.0.1-210.jar .
unzip azure-storage-2.2.0.jar
jar uf spark-assembly-1.6.3.2.5.0.1-210-hadoop2.7.3.2.5.0.1-210.jar com/
mv -f spark-assembly-1.6.3.2.5.0.1-210-hadoop2.7.3.2.5.0.1-210.jar /usr/hdp/current/spark-historyserver/lib/spark-assembly-1.6.3.2.5.0.1-210-hadoop2.7.3.2.5.0.1-210.jar
cd .. && rm -rf /tmp/jarupdate