hadoop - "Client"对 Hadoop/HDFS 到底意味着什么？

Question

我理解其背后的一般概念，但我希望对什么是“客户”有更多的说明和明确的定义。

比如我只是在Terminal上写一个hdfs命令，它还是“客户端”吗？

Answer 1

Client在Hadoop中是指用来与Hadoop文件系统进行通信的接口(interface)。 Hadoop 提供不同类型的客户端来执行不同的任务。

基本文件系统客户端 hdfs dfs 用于连接到 Hadoop 文件系统并执行基本文件相关任务。它使用 ClientProtocol 与 NameNode 守护进程通信，并直接连接到 DataNodes 以读/写 block 数据。要在 HDFS 上执行管理任务，可以使用 hdfs dfsadmin。对于 HA 相关任务，hdfs haadmin。有类似的客户端可用于执行 YARN 相关任务。

这些客户端可以使用它们各自的 CLI 命令从安装了 Hadoop 的节点调用，并且具有连接到 Hadoop 文件系统所需的必要配置和库。此类节点通常称为 Hadoop 客户端。

For example, if I just write an hdfs command on the Terminal, is it still a "client" ?

技术上，是。如果您能够使用 hdfs 命令访问 FS，则该节点具有成为 Hadoop 客户端所需的配置和库。

PS:API 也可用于以编程方式创建这些客户端。