hadoop - Hadoop- `hdfs dfs -ls`与ls

Question

我使用ssh连接到工作中的Hadoop集群。
那里似乎有两个不同的文件系统可用:
-一个本地(尽管因为我正在切这台机器，所以它是远程的)。我可以使用cd ..导航文件系统，并使用ls在其中显示文件。我也可以在这里安装一些程序。
-使用hadoop命令(hdfs dfs ...)不在本地

我不明白这两个文件系统如何协同工作？
我可以从其中执行 hive 的hadoop集群的主节点是本地节点吗？

Answer 1

:Is the local kind of the master node of the hadoop cluster from which I can execute hive ?

由于Hive与Hadoop和HDFS完全分开安装，因此HIve似乎与提出的问题无关。无论您访问什么机器，都需要Hive Client才能运行它，并且没有运行 hive(尽管应该使用 beeline)cli的“主节点”。对于大多数用户而言，HiveServer的JDBC驱动程序比终端 session 有用。或者说服您的公司将Hue安装为用于Hadoop＆Hive访问的Web UI。

如果您浏览Hadoop / Hive安装页面，并不一定要通过SSH到任何服务器来访问任何内容，并且可以收集服务器和端口的正确网络信息以建立到Hadoop环境的远程连接，但是您的公司可能不会从安全 Angular 来看不是这样。那时，本地计算机的配置方式与调用它们的“跳转框”或“边缘节点”完全相同。

one local (although it's remote since I'm sshing this machine)

对。不是Hadoop文件系统。 SSH连接到的所有计算机都具有本地硬盘驱动器。您需要先将SFTP / SCP文件复制到HDFS上。

one not local using hadoop commands (hdfs dfs ...) I don't understand how these two file system work together ?

如果您已通过SSH进入数据节点，Hadoop仍将数据存储在本地文件系统上，但是，它不是完整的文件，而是将它们分开的部分称为块。 Hadoop使用许多机器和磁盘来创建分布式文件系统抽象，因此命名为HDFS。

如果您的公司使用NAS或FTP文件服务器，则是类似的概念。您也可以使用正确的权限通过SSH进入其中之一，但是，它们的本地磁盘上有一个专用位置，可以从中提供文件。