gpt4 book ai didi

java - hadoop初学者问题

转载 作者:可可西里 更新时间:2023-11-01 14:16:43 25 4
gpt4 key购买 nike

我阅读了一些关于 hadoop 的文档并看到了令人印象深刻的结果。我得到了更大的图景,但发现它是否适合我们的设置很难。问题与编程无关,但我很想听听目前使用 hadoop 的人的意见,以及它如何适合我们的设置:

  • 我们使用 Oracle 作为后端
  • Java (Struts2/Servlets/iBatis) 前端
  • 每晚我们都会获取需要汇总的数据。这作为一个批处理过程运行(需要 5 小时)

我们正在寻找一种方法来缩短这 5 个小时的时间。

hadoop 适合这张图的什么地方?在 hadoop 之后我们还能继续使用 Oracle 吗?

最佳答案

您很可能可以通过一些简单的调整来显着减少该批处理过程的运行时间。我在过去经验的简单基础上提供这种分析。批处理过程的编写往往很糟糕,正是因为它们是自主的,因此不会有愤怒的用户要求更快的响应时间。

当然,我认为投入大量时间和精力在新技术中重新实现我们的应用程序完全没有任何意义 - 无论它多么新鲜和酷 - 直到我们用尽了能力我们目前的架构。

如果您需要一些关于如何调整批量查询的具体建议,那么这将是一个新问题。

关于java - hadoop初学者问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2481061/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com