hadoop - 如何从 Spark 中查看底层 Hadoop 文件系统

Question

我是这样启动 Spark 的:

spark-shell --master local[10]

我正在尝试查看底层 Hadoop 安装上的文件。

我想做这样的事情:

hdfs ls

我该怎么做？

Answer 1

只需从 sys.process 包中导入类，您就可以从 scala(spark 默认自带)执行任何底层系统/操作系统命令(如 hdfs dfs -ls 甚至纯 shell/DOS 命令)。参见下面的例子

Linux

import sys.process._
val oldcksum = "cksum oldfile.txt" !!
val newcksum = "cksum newfile.txt" !!
val hdpFiles = "hdfs dfs -ls" !!

window

import sys.process._    # This will let underlying OS commands to be executed.
val oldhash = "certUtil -hashFile PATH_TO_FILE" !!#CertUtil is a windows command

如果您计划在 Spark 中读取和写入 HDFS，您需要首先集成 spark 和 hadoop。 http://spark.apache.org/docs/latest/configuration.html#inheriting-hadoop-cluster-configuration