gpt4 book ai didi

hadoop - Falcon、hadoop核心概念

转载 作者:可可西里 更新时间:2023-11-01 16:32:11 24 4
gpt4 key购买 nike

我是一个非常偏向于前端的开发人员,所以有时我很难理解一些后端奇怪的概念,特别是在 js 世界之外(我知道节点、express 后端)。

我将不得不为 falcon 开发一个前端 - hadoop,UI 应该允许创建一个新的提要。应允许用户定义流程工作流,用户必须在创建提要或流程之前定义或创建至少一个集群。

这些是我收到的一些请求

我的问题是:

Feed 实体的行为是否像文档或对象?可以说类似于 json 对象吗?

集群是否只是执行不同任务的不同位置? (我的意思是在 hadoop、falcon 的生活方式中)

流程实体只是要在提要实体中执行的任务的生命周期?

而一个集群实体,只是一组独立的任务吗?

我知道有一个 REST API 可以与后端通信,这是否足以管理提要、集群等?还是有限制?

编辑

对于ysr的回答我想随着时间的推移添加我有更准确的理解,

实体(提要、流程、集群)以 xml 格式定义、提交和获取,实体规范在这里 http://falcon.apache.org/EntitySpecification.html

REST API 是 http://falcon.apache.org/restapi/ResourceList.html并且您可以使用它来管理您的实体生命周期。

从前端的角度来看,我不需要了解更多。

最佳答案

Falcon 基本上使用三种类型的实体。

1.Cluster 2.Feed 3.Process

集群 - 基本上包含系统范围的属性,如 hdfs 端点、作业跟踪器端点、yarn 端点(如果您使用的是 yarn)、oozie 端点、activemq 端点

Feed - 与数据有关。提要定义包含数据路径、数据可用性频率、保留和复制详细信息等信息。

进程 - 与以特定频率运行的作业相关。一个进程将消耗一个或多个提要并生成另一个提要。流程定义将包含诸如作业运行频率、它将消耗的输入范围、它将生成的输出、工作流定义路径等信息。

并且 Falcon 包含足够的 REST api 来与服务器通信。目前没有这样的限制。如果您发现任何问题,我们 (falcon-dev) 将非常乐意合并您的更改。

关于hadoop - Falcon、hadoop核心概念,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25533148/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com