hadoop - 我必须创建/tmp 和/user/hive/warehouse 吗？

Question

来自 https://cwiki.apache.org/confluence/display/Hive/GettingStarted

Running Hive

Hive uses Hadoop, so:

• you must have Hadoop in your path OR
• export HADOOP_HOME=

In addition, you must use below HDFS commands to create /tmp and /user/hive/warehouse (aka hive.metastore.warehouse.dir) and set them chmod g+w before you can create a table in Hive.

  $ $HADOOP_HOME/bin/hadoop fs -mkdir       /tmp
  $ $HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
  $ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /tmp
  $ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /user/hive/warehouse

我无法运行两个 -mkdir 命令:

$ $HADOOP_HOME/bin/hadoop fs -mkdir       /tmp
mkdir: `/tmp': File exists

`/tmp' 已经存在于我的 Ubuntu 中的本地 ext4 文件系统中。

$ $HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
mkdir: `/user/hive/warehouse': No such file or directory

在我的 Ubuntu 的本地 ext4 文件系统中没有 /usr/hive/warehouse。

那么运行-mkdir来创建这两个目录的目的是什么？

Answer 1

mkdir: `/tmp': File exists

此文件夹已存在于 hdfs 中。因此，您在运行 mkdir 命令时遇到“文件存在”错误。

可以用list命令查看:hadoop fs -ls/

mkdir: `/user/hive/warehouse': No such file or directory

mkdir 命令创建新目录但不创建父目录。如果路径中不存在任何父目录，您将收到“没有这样的文件或目录”错误。在这种情况下，“用户”或“配置单元”目录不存在。

可以用list命令查看:hadoop fs -ls/user

运行带有“-p”选项的“mkdir”命令会创建所有缺失的父目录。

hadoop fs -mkdir -p /user/hive/warehouse 

'/tmp' 和 '/user/hive/warehouse' 目录都是在 hdfs 文件系统中创建的。您无法使用本地文件系统命令查看这些文件夹。

`/tmp' already exists on my local ext4 file system in my Ubuntu.

此/tmp 文件夹由您的操作系统维护，用于保存临时文件。与 hdfs 无关。

要列出 hdfs 中的文件夹，

hadoop fs -ls /user
hadoop fs -ls /
hadoop fs -ls /user/hive/