- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我一直在关注这个tutorial为了在 Linux 上的 HDInsight 中的 Spark 集群(版本 1.5.2)上设置 Zeppelin。一切正常,我已经成功地通过 SSH 隧道连接到 Zeppelin notebook。但是,当我尝试运行任何一种段落时,第一次出现以下错误:
java.io.IOException: No FileSystem for scheme: wasb
出现此错误后,如果我尝试重新运行该段落,则会出现另一个错误:
java.net.SocketException: Broken pipe at java.net.SocketOutputStream.socketWrite0(Native Method)
无论我输入什么代码,这些错误都会发生,即使没有对 hdfs 的引用。我要说的是,即使对于一个微不足道的 Scala 表达式,例如并行化,我也会收到“No FileSystem”错误。
是否缺少配置步骤?
最佳答案
我正在下载您在键入时指向的脚本的 tar 球。但我想我猜你的齐柏林飞艇安装和 Spark 安装不完整,无法与 wasb 一起使用。为了让 spark 与 wasb 一起工作,您需要在类路径中添加一些 jar 。为此,您需要将类似的内容添加到您的 spark-defaults.conf(HDInsights 中的路径可能不同,这是来自 IaaS 上的 HDP)
spark.driver.extraClassPath /usr/hdp/2.3.0.0-2557/hadoop/lib/azure-storage-2.2.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/lib/microsoft-windowsazure-storage-sdk-0.6.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/hadoop-azure-2.7.1.2.3.0.0-2557.jar
spark.executor.extraClassPath /usr/hdp/2.3.0.0-2557/hadoop/lib/azure-storage-2.2.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/lib/microsoft-windowsazure-storage-sdk-0.6.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/hadoop-azure-2.7.1.2.3.0.0-2557.jar
一旦你有 spark 与 wasb 一起工作,或者下一步是在 zeppelin 类路径中制作那些相同的 jar。测试您的设置的一个好方法是制作一个笔记本来打印您的环境变量和类路径。
sys.env.foreach(println(_))
val cl = ClassLoader.getSystemClassLoader
cl.asInstanceOf[java.net.URLClassLoader].getURLs.foreach(println)
同时查看安装脚本,它试图从 wasb 中提取 zeppelin jar,您可能希望在尝试其中一些更改时将该配置更改为其他地方。 (飞艇.sh)
export SPARK_YARN_JAR=wasb:///apps/zeppelin/zeppelin-spark-0.5.5-SNAPSHOT.jar
我希望这对您有所帮助,如果您仍有问题,我还有一些其他的想法,但我会先从这些开始。
关于linux - 在 Azure HdInsight 的 Linux 群集上的 Spark 中运行 Zeppelin 段落时出错,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34679202/
我已在 12Gb 开发计算机上安装了 Azure HDInsight 模拟器(“HortonWorks Data Platform 2.1.3.0 For Windows”),它占用了我的所有 RAM
创建新的 HDInsight 群集后,当我提供身份验证信息并尝试访问 HDInsight Web 门户 https://{Cluster Name}.azurehdinsight.net/时,收到以下
创建新的 HDInsight 群集后,当我提供身份验证信息并尝试访问 HDInsight Web 门户 https://{Cluster Name}.azurehdinsight.net/时,收到以下
我浏览了多个文档,但无法获得与 Azure Databricks 集群相比使用 HDInsigths spark 集群的优势列表。这两者之间是否有任何关键区别。我基本上需要 HDInsights 支持
我是 Microsoft Azure 的新手。我在 Azure 上创建了一个试用帐户。安装了azure powershell并提交了默认的wordcount map reduce程序,它运行良好,并且
我正在尝试使用带有PowerShell(cmdlet Invoke-Hive)的Azure HDInsight在Hive中创建外部表,但是由于以下错误在stderr中失败: Logging initi
我正在尝试创建 Hadoop HDInsight 集群(使用我的免费套餐)。我正在尝试使用不同的默认节点设置(尝试了几种组合),但我的部署始终失败,并显示以下错误消息。 使用节点的默认设置后,部署成功
我是 Microsoft Azure 的新手。我在 Azure 上创建了一个试用帐户。安装了azure powershell并提交了默认的wordcount map reduce程序,它运行良好,并且
我们有在 Azure 上运行的 HDinsight 集群。我试图创建一台客户端计算机来连接到 HDInsight。我按照 Hortonworks 安装指南中的说明安装所有客户端组件,然后将/etc/h
我按照下面显示的链接中的步骤将 Hadoop 2.2 群集与 HDInsight 结合使用。 http://azure.microsoft.com/en-us/documentation/articl
我刚开始研究 HDInsight,但它不能正常工作.. 当我安装新的 HDInsight 时,它运行良好,但如果我重新启动或重新启动系统,服务器无法识别集群。 消息显示为“您的集群“本地 (hdfs)
我无法删除由关联Azure Datalake Store上的Python/Scala/Hive程序创建的文件。当我尝试删除这些文件夹和文件时,我收到访问被拒绝错误。我确保我对这些文件夹和文件拥有完全权
我正在尝试使用下面的 Microsoft 文档创建 Hdinsight-kafka 集群 https://learn.microsoft.com/en-us/azure/hdinsight/kafka
显然,我需要在一台群集计算机上启动一个zookeeper服务器,然后需要其他客户端计算机连接到该服务器。 我这样做的方法是,我使用ssh连接到根节点,我发现一个运行在端口2181上的zk服务器。因此,
我正在使用Hive流作业来处理HDInsight上C#中的某些数据。为了处理数据,脚本必须读取存储为Azure上的Blob的xml文件,如下所示: OperationContext o
是Microsoft“HDInsight”的免费开发下载。下面的URL表示可以下载,但是Microsoft网站上没有这样的链接,任何人都可以告诉我Microsoft“Hadoop”是否免费。 “htt
在 hdinsight hive 编辑器上使用什么命令来连接到特定的存储?通过 b.lodefault,hive 编辑器连接到错误的存储我应该给它什么命令来使用正确的存储 blob?如何使用 hive
我正在Azure HDInsight中运行一个简单的 map 缩小作业,以下是我们正在运行的命令: java -jar WordCount201.jar wasb://hexhadoopcluster
在HDInsight群集上,使用CREATE EXTERNAL语句创建一个Hive表: CREATE EXTERNAL TABLE HTable(t1 string, t2 string, t3 st
我正在考虑将Hive与HDInsight以及将数据加载到Azure Blob存储上。 历史数据和变化中的数据结合在一起。 Update , SET option in Hive中提到的解决方案也可以与
我是一名优秀的程序员,十分优秀!