gpt4 book ai didi

hadoop - 从MySql DB导入数据到MapR DB/HBase的选项

转载 作者:行者123 更新时间:2023-12-02 21:14:29 24 4
gpt4 key购买 nike

我在MySql中有一个表,其中包含大约24000000条记录。我需要一种将此数据导入具有多个列族的MapR DB中的表的方法。我最初选择Sqoop作为导入数据的工具,但后来发现我无法使用Sqoop直接导入数据,因为Sqoop尚不支持多列族导入。
我已经使用MySql数据库中的Sqoop在MapR FS中填充了数据。
我有什么选择将该数据从MapR FS导入具有3列族的MapR DB表中?
对于批量导入,我有两种选择:

  • ImportTSV工具:这可能需要源数据为TSV格式。但是我使用Sqoop从MySql从MapR FS导入的数据似乎是CSV格式。这种方法的标准解决方案是什么?
  • 编写一个自定义的Map Reduce程序,以将MapR FS中的数据转换为HFile并将其加载到MapR DB中。

  • 我只是想确保这些是加载数据的唯一两个选择。考虑到这样的要求在任何系统中都是非常基本的要求,因此这似乎有点限制性。
    如果要使用自定义Map Reduce,那么一个示例或工作示例将非常有帮助。

    最佳答案

    使用HBaseStorageHandler创建指向MapRDB的Hive表。您可以使用sqoop导入到配置单元表。

    如果您已经下载了数据MapRFS。使用hive load命令将数据加载到MapRDB。

    关于hadoop - 从MySql DB导入数据到MapR DB/HBase的选项,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39219669/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com