hadoop - 将单个更改为集群hadoop安装，以保留持久数据-6ren

hadoop - 将单个更改为集群hadoop安装，以保留持久数据

转载作者：行者123 更新时间：2023-12-02 20:42:11

24

4

我将在生产环境中进行Hadoop POC。 POC包括:
1.收到很多(现实生活中的)事件
2.累积它们以具有足够大小的一组事件
3.将事件集保留在单个文件HDFS中

如果POC成功，则我想安装一个集群环境，但是我需要将数据保留在单个集群安装(POC)中。

然后，问题是:将已经在HDFS单个集群中持久保存的数据迁移到实际集群HDFS环境有多困难？

在此先感谢(对不起我的英语不好)
问候

最佳答案

您不需要迁移任何东西。

如果您正在以Pseudo分布式模式运行Hadoop，那么您所需要做的就是添加指向您现有namenode的datanode，就是这样!

我想指出

Persist the set of events in a single file HDFS

我不确定要制作“单个文件”，但是我建议您进行定期检查。如果流失败了怎么办？您如何捕捉掉落的事件？ Spark，Flume，Kafka Connect，NiFi等可以使您做到这一点。

而且，如果您要做的只是流式传输事件，并希望将其存储在可变的时间段内，那么Kafka就是针对该用例而构建的。您不一定需要Hadoop。将事件推送到Kafka，在有意义的情况下使用它们，例如搜索引擎或数据库(Hadoop不是数据库)

关于hadoop - 将单个更改为集群hadoop安装，以保留持久数据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49412786/

24

4

0

文章推荐： image - 使不需要的转换成为无操作

文章推荐： hadoop - 如何与一群使用齐柏林飞艇的人一起工作？

javascript - AngularJS，Ng-repeat 更改/更改 Json 数组的顺序
SO亲爱的 friend 们: 2014 年 3 月 18 日。我正在处理一种情况，在使用 ng-repeat 时，数组内的元素(我从 Json 字符串中获取)更改了原始顺序。需要明确的是，数组中的
javascript - 更改 div 类 onclick --- 并*保存*更改
有很多问题询问如何在 JavaScript 单击处理程序中更改 div 的类，例如，此处:Change Div style onclick .我理解得很好(只需更改 .className)，并且它有效
java - 无法删除、更改、更改...列名称 'number of shares' 带空格
我从access导入了一个数据库到mysql，但其中一个表的列名“股数”带有空格，但我尝试更改、替换甚至删除列名，但失败了。任何人都可以帮助解决这一问题 String UpdateQuary = "U
javascript - iframe css src 更改，如果父 css src 更改
我正在做一个随机的学校元素。目前，我有一个包含两个 CSS 的页面。一种用于正常 View ，一种用于残障人士 View 。此页面还包括两个按钮，它们将更改使用的样式表。 function c
javascript - 更改
文本中的文本我会使用 javascript 更改
元素
我需要使用 javascript 更改 HTML 元素中的文本，但我不知道该怎么做。 ¿有什么帮助吗？我把它定义成这样: Text I want to change. 我正在尝试这样做: docum
javascript - 当我通过 Javascript 更改 ID 的 CSS 类时，我的 jQuery 导航栏没有反射(reflect)更改..？
我在它自己的文件 nav_bar.shtml 中有一个主导航栏，每个其他页面都包含该导航栏。这个菜单栏是一个 jQuery 菜单栏(ApyCom 是销售这些导航栏的公司的名称)。导航栏上的元素如何确定
更改 if 语句
我正在摆弄我的代码，并开始想知道这个变化是否来自: if(array[index] == 0) 对此: if(!array[index] != 0) 可能会影响任何代码，或者它只是做同样的事情而我不需
更改 Windows 控制台大小
我一直在想办法调整控制台窗口的大小。这是我正在使用的函数的代码: #include #include #define WIDTH 70 #define HEIGHT 35 HANDLE wHnd;
vba - 更改 IF 语句以提高效率
我有很多情况会导致相同的消息框警报。有没有比做几个 if 语句更简单/更好的解决方案？ PRODUCTS BOX1 BOX2 BOX3
c# - 更改/重命名命名空间前缀
我有一个包含这些元素的 XELEMENT B Bob Petier 19310227 1 我想像这样转换前缀。 B Bob Pet
mysql - 更改 where 子句的顺序会破坏查询
我使用 MySQL 5.6 遇到了这种情况: 此查询有效并返回预期结果: select * from some_table where a = 'b' and metadata->>"$.countr
r - 检测日期列格式的中断/更改
我想知道是否有人知道可以检测 R 中日期列格式的任何中断的包或函数，即检测日期向量格式更改的位置，例如: 11/2/90 12/2/90 . . . 15/Feb/1990 16/Feb/1990 .
更改 GtkButton 的标签
我希望能够在小部件显示后更改 GtkButton 的标签 char *ButtonStance == "Connect"; GtkWidget *EntryButton = gtk_button_ne
更改 C 中缓冲区的播放速率？
我正在使用 Altera DE2 FPGA 开发板并尝试使用 SD 卡端口和音频线路输出。我正在使用 VHDL 和 C 进行编程，但由于缺乏经验/知识，我在 C 部分遇到了困难。目前，我可以从 SD
java - 更改 JProgressBar
注意到这个链接后: http://www.newscientist.com/blogs/nstv/2010/12/best-videos-of-2010-progress-bar-illusion.h
Ansible:更改=0
我想知道在某些情况下，即使剧本任务已成功执行并且 ok=2，ansible 也会显示“changed=0”。使用 Rest API 和 uri 模块时会发生这种情况。我试图找到解释但没有成功。谁能告诉
iphone - 更改/删除远程通知上的按钮或按钮文本
这个问题已经有答案了: 已关闭12 年前。 Possible Duplicate: add buttons to push notification alert 是否可以在远程通知显示的警报框中指定有
iphone - 更改 "More"选项卡的导航栏颜色？
当您的 TabBarController 中有超过 5 个 View Controller 时，系统会自动为您设置一个“更多” View 。是否可以更改此 View 中导航栏的颜色以匹配我正在使用的颜
path - 更改.AndroidStudioBeta文件夹的位置
如何更改.AndroidStudioBeta文件夹的位置，默认情况下，该文件夹位于Windows中的\ .. \ User \ .AndroidStudioBeta，而不会破坏任何内容？ /编辑：找
Scala:收集不可变状态的更新/更改
我目前正在尝试将更具功能性的编程风格应用于涉及低级(基于 LWJGL)GUI 开发的项目。显然，在这种情况下，需要携带很多状态，这在当前版本中是可变的。我的目标是最终拥有一个完全不可变的状态，以避免状

首页

博学

6Ren·AI

商城