- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
在 Mac OS X 上,我使用以下命令从源代码编译了 Spark:
jacek:~/oss/spark
$ SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SPARK_HIVE=true SPARK_GANGLIA_LGPL=true xsbt
...
[info] Set current project to root (in build file:/Users/jacek/oss/spark/)
> ; clean ; assembly
...
[info] Packaging /Users/jacek/oss/spark/examples/target/scala-2.10/spark-examples-1.0.0-SNAPSHOT-hadoop2.4.0.jar ...
[info] Done packaging.
[info] Done packaging.
[success] Total time: 1964 s, completed May 9, 2014 5:07:45 AM
当我启动 ./bin/spark-shell
时,我注意到以下 WARN 消息:
WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
可能是什么问题?
jacek:~/oss/spark
$ ./bin/spark-shell
Spark assembly has been built with Hive, including Datanucleus jars on classpath
14/05/09 21:11:17 INFO SecurityManager: Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
14/05/09 21:11:17 INFO SecurityManager: Changing view acls to: jacek
14/05/09 21:11:17 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(jacek)
14/05/09 21:11:17 INFO HttpServer: Starting HTTP Server
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 1.0.0-SNAPSHOT
/_/
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0)
Type in expressions to have them evaluated.
Type :help for more information.
...
14/05/09 21:11:49 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
...
最佳答案
Supported Platforms Apache Hadoop 中的 native 库指南文档如下:
The native hadoop library is supported on *nix platforms only. The library does not to work with Cygwin or the Mac OS X platform.
The native hadoop library is mainly used on the GNU/Linus platform and has been tested on these distributions:
- RHEL4/Fedora
- Ubuntu
- Gentoo
On all the above distributions a 32/64 bit native hadoop library will work with a respective 32/64 bit jvm.
看来在 Mac OS X 上应该忽略 WARN 消息,因为 native 库不仅仅存在于该平台。
关于hadoop - 为什么 ./bin/spark-shell 给出 WARN NativeCodeLoader : Unable to load native-hadoop library for your platform?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41600755/
我已经看到很多人在安装hadoop时遇到问题。我经历了所有相关的stackoverflow问题,但无法解决问题。 问题是 : hdfs dfs -ls 16/09/27 09:43:42 WARN u
我在 OS X 10.10.5 上运行 hadoop 2.6.1。我收到此警告: 警告 util.NativeCodeLoader:无法为您的平台加载 native hadoop 库...在适用的情况
我正在学习 BigTable 上的教程:https://cloud.google.com/bigtable/docs/hbase-shell-quickstart 当我尝试启动我的 Docker 镜像
这会阻止 PySpark 在 Jupyter Notebook 中正常运行。我知道原生 hadoop 库仅在 *nix 平台上受支持。该库不适用于 Cygwin 或 Mac OS X 平台。我怎样才能
alpesh@alpesh-Inspiron-3647:~/hadoop-2.7.2/sbin$ hadoop fs -ls 16/07/05 13:59:17 警告 util.NativeCodeL
我正在尝试从 map-reduce 作业中编写一个活泼的 block 压缩序列文件。我在用hadoop 2.0.0-cdh4.5.0, 和 snappy-java 1.0.4.1 这是我的代码: pa
在 Mac OS X 上,我使用以下命令从源代码编译了 Spark: jacek:~/oss/spark $ SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SP
我最近在Ubuntu 12.04LTS(64位)上安装了hadoop新版本(2.2.0)。 并且测试 hadoop 示例不起作用。 这个问题怎么解决???? Java HotSpot(TM) 64-B
在 Mac OS X 上,我使用以下命令从源代码编译了 Spark: jacek:~/oss/spark $ SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SP
我正在使用 Mac OSX El-Capitan,并且是 hadoop 的新手。安装后我收到此警告: WARN util.NativeCodeLoader: Unable to load native
在 Windows 7 64 位上运行 hadoop 时,我遇到了这个问题: WARN util.NativeCodeLoader: Unable to load native-hadoop libr
我在 debian jessie 上安装 hadoop 时遇到问题,运行脚本 start-dfs.sh 时收到警告 hadoop@debian1:~$/usr/local/hadoop/sbin/st
我已经开始使用hadoop,我是一个初学者。我已经成功地在 ubuntu 15.04 64 位中安装了 hadoop-2.6.0。类似 start-all.sh、start-dfs.sh 等的通用命令
我是一名优秀的程序员,十分优秀!