hadoop - 在 Hadoop 中，存储在 dfs.data.dir 中的内容(在 hdfs-site.xml 参数中)和我们使用 dfs -mkdir 创建的目录

Question

我创建了如下目录并使用以下语法创建了配置单元表

一个)1) dfs -mkdir/app/hadoop/warehouse/

2) 创建表 employee (empid int, name string, surname string)行格式分隔以‘,’结尾的字段位置‘/app/hadoop/warehouse/’；

3) 在路径‘/input file location .txt’中加载数据覆盖到表员工；

如果我的理解是正确的，所有的 block 都存储在/app/hadoop/warehouse/目录下。请确认 ？

---

b) hdfs-site.xml 中 dfs.data.dir 参数的目的是什么，对于我们在这里提到的目录？

---

c) 我们在步骤 a) 中创建的目录应该在步骤 b) 中提到什么？

感谢您的澄清

谢谢纳文

Answer 1

1) 查看 Apache 文档 here有关 dfs.data.dir 和其他属性的更多详细信息。

2) 文件系统是对原始数据的抽象，因此 block 不存储在/app/hadoop/warehouse/文件夹中。这些 block 存储在由 hdfs-site.xml 中的 dfs.data.dir 属性指定的 DN 中。

3)在Hive中，逻辑表应该与HDFS中的数据相关联。所以建表的时候要指定HDFS中的文件夹名。