gpt4 book ai didi

java - 不使用HDFS可以用Hadoop做自动进程平衡吗

转载 作者:可可西里 更新时间:2023-11-01 16:48:03 26 4
gpt4 key购买 nike

我知道可以在 hadoop 集群上分配作业。我还知道可以从 hadoop 系统中半直接读取和写入 SQL 数据库。

我的问题更直接,因为在现实世界中,数据是从文件和关系数据库中从 hadoop 作业中读取和写入的,然后在处理后写回关系数据库。所以直接使用 hadoop 作为进程平衡器,使用类似 hibernate 的东西,而不使用 HDFS。

谢谢

最佳答案

这是不可能的。因为您无权访问映射器和缩减器的设置和清理任务中的记录。在 hdfs 之外,执行作业的唯一方法是使用本地文件系统进行输入/输出。

关于java - 不使用HDFS可以用Hadoop做自动进程平衡吗,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35087429/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com