gpt4 book ai didi

hadoop - hadoop体系结构查询示例

转载 作者:行者123 更新时间:2023-12-02 21:31:31 24 4
gpt4 key购买 nike

目前,我有2台计算机,其中一台是Horton沙箱,我已将其配置为名称节点,并从该计算机上停用了数据节点,而我将其制成并使其作为数据节点的另一台计算机上安装了hive服务器。
还给它分配了奴隶角色,我用Ambari完成了它。
我的问题是因为这是我第一次使用hadoop,我的计划是将数据从sql数据库传输到hadoop,所以这是否意味着我必须在datanode上安装mysql,而我将使用sqoop等名称节点会做什么?我是否要查询它,并将查询传递给datanode真的很困惑,并且确实有很大的压力要完成,所以请原谅我作为新手,所有机器的安装都是默认的,我为第一台机器和nodemanager选择了datanode如果您有一个简单的示例可以让我理解,那么第二个没有特殊配置的示例将非常感谢。
多谢各位同仁

最佳答案

Sqoop 是旨在在Hadoop和关系数据库服务器之间传输数据的工具。它用于将数据从MySQL,Oracle等关系数据库导入到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。

例如-您在其他计算机上的mysql中有一些数据,并且必须将数据传输到hadoop hdfs中。在这种情况下,将使用sqoop

NameNode 存储有关存储在 DataNodes 中的数据的MetaData(数据块编号,在哪个机架上存储数据以及其他详细信息),而DataNode存储实际数据。

关于hadoop - hadoop体系结构查询示例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34039298/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com