hadoop - Falcon、hadoop核心概念

Question

我是一个非常偏向于前端的开发人员，所以有时我很难理解一些后端奇怪的概念，特别是在 js 世界之外(我知道节点、express 后端)。

我将不得不为 falcon 开发一个前端 - hadoop，UI 应该允许创建一个新的提要。应允许用户定义流程工作流，用户必须在创建提要或流程之前定义或创建至少一个集群。

这些是我收到的一些请求

我的问题是:

Feed 实体的行为是否像文档或对象？可以说类似于 json 对象吗？

集群是否只是执行不同任务的不同位置？ (我的意思是在 hadoop、falcon 的生活方式中)

流程实体只是要在提要实体中执行的任务的生命周期？

而一个集群实体，只是一组独立的任务吗？

我知道有一个 REST API 可以与后端通信，这是否足以管理提要、集群等？还是有限制？

编辑

对于ysr的回答我想随着时间的推移添加我有更准确的理解，

实体(提要、流程、集群)以 xml 格式定义、提交和获取，实体规范在这里 http://falcon.apache.org/EntitySpecification.html

REST API 是 http://falcon.apache.org/restapi/ResourceList.html并且您可以使用它来管理您的实体生命周期。

从前端的角度来看，我不需要了解更多。

Answer 1

Falcon 基本上使用三种类型的实体。

1.Cluster 2.Feed 3.Process

集群 - 基本上包含系统范围的属性，如 hdfs 端点、作业跟踪器端点、yarn 端点(如果您使用的是 yarn)、oozie 端点、activemq 端点

Feed - 与数据有关。提要定义包含数据路径、数据可用性频率、保留和复制详细信息等信息。

进程 - 与以特定频率运行的作业相关。一个进程将消耗一个或多个提要并生成另一个提要。流程定义将包含诸如作业运行频率、它将消耗的输入范围、它将生成的输出、工作流定义路径等信息。

并且 Falcon 包含足够的 REST api 来与服务器通信。目前没有这样的限制。如果您发现任何问题，我们 (falcon-dev) 将非常乐意合并您的更改。