gpt4 book ai didi

api - 为 Apache Spark 应用程序结果提供 API 的推荐方法是什么

转载 作者:可可西里 更新时间:2023-11-01 16:21:57 25 4
gpt4 key购买 nike

我们在 hadoop 集群上存储了大量数据。我们需要使用 apache spark 对这些数据进行一些分析,并通过 API 将此分析的结果提供给其他应用程序。

我有两个想法,但我不知道推荐哪一个。

第一个选择是制作一个 spark 应用程序来进行分析并将结果存储在另一个数据存储(关系数据库甚至 HDFS)中,然后开发另一个应用程序从另一个数据存储读取分析结果并提供用于查询的 API。

第二种选择是将两个应用程序合并为一个应用程序。这样我推断出对另一个数据存储的需求,但我这样应用程序将一直运行。

在这种情况下推荐的方法是什么?如果还有其他选项,请列出。

最佳答案

这取决于用户访问 get api 的频率。如果客户端想要实时结果,则应该使用 api。否则可以使用将结果存储在另一个数据存储中的第一种方法。

关于api - 为 Apache Spark 应用程序结果提供 API 的推荐方法是什么,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28790633/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com