gpt4 book ai didi

apache-spark - Hadoop数据管道用例

转载 作者:行者123 更新时间:2023-12-02 19:54:38 26 4
gpt4 key购买 nike

这是我的用例:

  • 我有一些存储在Hadoop中的数据(HDFS文件,然后是Hive View ),每天被摄取5次。
  • 我需要处理这些数据(serviceA)
  • 然后,我需要尽快将其放回Hadoop(与社区共享结果)并将其写入Oracle数据库(serviceB)。

  • 我该怎么做 ?

    我曾经考虑过使用Spark从Hadoop获取数据,进行处理并写回。但是如何更新Oracle数据库呢?限制条件:
  • 没有独家新闻
  • serviceA和serviceB之间不进行API调用(大数据)
  • 没有直接从serviceA写入serviceB数据库
  • 最佳答案

    您可以使用Spark处理数据并将结果存储回HDFS / Hive表中,一旦准备好结果,就可以使用Sqoop将数据导出到Oracle

    您可以按照以下简单的guide将数据从Hive导出到Oracle。或关注Sqoop guide

    关于apache-spark - Hadoop数据管道用例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58680360/

    26 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com