- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我无法在 Windows 7
上安装的 Scala IDE
(Maven Spark 项目)中运行简单的 spark
作业
已添加 Spark 核心依赖项。
val conf = new SparkConf().setAppName("DemoDF").setMaster("local")
val sc = new SparkContext(conf)
val logData = sc.textFile("File.txt")
logData.count()
错误:
16/02/26 18:29:33 INFO SparkContext: Created broadcast 0 from textFile at FrameDemo.scala:13
16/02/26 18:29:34 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:278)
at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:300)
at org.apache.hadoop.util.Shell.<clinit>(Shell.java:293)
at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:76)
at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:362)
at <br>org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$33.apply(SparkContext.scala:1015)
at org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$33.apply(SparkContext.scala:1015)
at <br>org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:176)
at <br>org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:176)<br>
at scala.Option.map(Option.scala:145)<br>
at org.apache.spark.rdd.HadoopRDD.getJobConf(HadoopRDD.scala:176)<br>
at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:195)<br>
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)<br>
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)<br>
at scala.Option.getOrElse(Option.scala:120)<br>
at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)<br>
at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35)<br>
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)<br>
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)<br>
at scala.Option.getOrElse(Option.scala:120)<br>
at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)<br>
at org.apache.spark.SparkContext.runJob(SparkContext.scala:1929)<br>
at org.apache.spark.rdd.RDD.count(RDD.scala:1143)<br>
at com.org.SparkDF.FrameDemo$.main(FrameDemo.scala:14)<br>
at com.org.SparkDF.FrameDemo.main(FrameDemo.scala)<br>
最佳答案
Here很好地解释了您的问题与解决方案。
从 https://github.com/steveloughran/winutils 下载 winutils.exe 版本.
在操作系统级别或以编程方式设置 HADOOP_HOME
环境变量:
System.setProperty("hadoop.home.dir", "winutils 文件夹的完整路径");
享受
关于eclipse - Hadoop 二进制文件中的 java.io.IOException : Could not locate executable null\bin\winutils. exe。 Windows 7 上的 Spark Eclipse,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35652665/
我在 python 中使用了 pySpark,并设置环境变量 HADOOP_HOME 以指向 EC2 中 Windows Server 2012 上的 bin\winutils.exe 之上的文件夹。
我正在尝试在 Windows 上使用 Hadoop 2.20 和 HBase 0.98 设置一个完全分布式的 4 节点开发集群。我在 Windows 上成功构建了 Hadoop,最近还在 Window
> D:\>echo %HADOOP_HOME% > D:\Apps\winutils\hadoop-2.7.1 在与 HADOOP_HOME 相同的磁盘上创建 tmp/hive 文件夹 D:\>d
在Windows 10操作系统上下载Spark并正确设置所有环境和系统变量时,我收到一条代码执行错误,指出“null / bin / winutils.exe不存在”。我通过下载winutils.ex
为最新的 hadoop-2.2 版本启动名称节点时,我收到以下错误。我没有在 hadoop bin 文件夹中找到 winutils exe 文件。我尝试了以下命令 $ bin/hdfs namenod
我正在尝试在 Windows 10 上安装 Spark 1.6.1,到目前为止我已经完成了以下操作...... 下载spark 1.6.1,解压到某个目录,然后设置SPARK_HOME 下载scala
这个问题在这里已经有了答案: Failed to locate the winutils binary in the hadoop binary path (17 个回答) 3年前关闭。 我正在尝试将
我很好奇!据我所知,HDFS 需要数据节点进程才能运行,这就是它只在服务器上运行的原因。 Spark 可以在本地运行,但需要 winutils.exe,它是 Hadoop 的一个组件。但它到底做了什么
我很好奇!据我所知,HDFS 需要数据节点进程才能运行,这就是它只在服务器上运行的原因。 Spark 可以在本地运行,但需要 winutils.exe,它是 Hadoop 的一个组件。但它到底做了什么
在我的系统变量中,HADOOP_HOME 设置为 C:\hadoop-2.7.2\bin 我尝试使用以下代码访问 HDFS: FileSystem hdfs = FileSystem.get(new
在 Windows 中,当我启动 pyspark shell 时,出现错误: 2019-04-20 08:11:34 ERROR Shell:397 - Failed to locate the wi
我在 eclipse 下从 Windows 机器(客户端)执行远程作业,我澄清我的 Windows 客户端上没有安装任何 hadoop,我不需要,我正在远程执行 hadoop 作业,hadoop 是安
本文整理了Java中org.weasis.core.api.gui.util.WinUtil.getParentOfClass()方法的一些代码示例,展示了WinUtil.getParentOfCla
本文整理了Java中org.weasis.core.api.gui.util.WinUtil.getParentWindow()方法的一些代码示例,展示了WinUtil.getParentWindow
本文整理了Java中org.weasis.core.api.gui.util.WinUtil.getParentDialog()方法的一些代码示例,展示了WinUtil.getParentDialog
我尝试使用 SetEntriesInAclA 从 Free Pascal 中的 EXPLICIT_ACCESS_A 数组创建新的 ACL,但我不断收到来自 的错误代码 87(无效参数) >SetEnt
我是 Hadoop 系统的新手,在尝试获取 Hadoop (HDFS) 的文件系统时遇到以下错误设置是在 Ubuntu Server 15.05 上运行的 Hadoop。和一个在 Windows 上运
最近我在我的系统中安装了 canopy 和 spark。当我在 canopy 命令提示符下的 c:\spark 路径中运行 pyspark 命令时,出现此错误,但该路径中存在 winutils。我是新
我正在尝试制作一个应用程序原型(prototype),以将 Hadoop 用作数据存储,但我在第一个障碍上摔倒了。我可以访问 Hadoop 集群,并且从 Spring 中窃取了一个测试样本来尝试第一步
我知道有一个与此非常相似的帖子(Failed to locate the winutils binary in the hadoop binary path),但是,我已经尝试了建议的每个步骤,但仍然
我是一名优秀的程序员,十分优秀!