gpt4 book ai didi

java - Hadoop与电子商务门户的集成

转载 作者:行者123 更新时间:2023-12-02 20:47:01 30 4
gpt4 key购买 nike

我们正在使用Java Rest服务从头开始构建一个新的电子商务门户,并且计划使用MySQL(现在是将来的Oracle)。我们也在使用ElasticSearch。我们正在将整个门户构建为微服务。我的问题是,我是否需要一开始就进行分析(例如hadoop和HDFS集成)?

最佳答案

单一的关系数据库可以很好地工作,但是扩展性很差。特别是对于大型Web服务。

您需要测量数据摄入量/大小,以确定是否需要在Elasticsearch上使用Hadoop(更具体地说是HDFS)进行批处理分析。但可能不会。您可以使用独立Apache Spark集群直接针对Elasticseach运行事物。

但是,您也可以use Kafka as a message bus between your JDBC compatible database as well as loading an Elasticsearch index。而且Spark Streaming与Kafka搭配使用效果很好。

而且,如果要将Hadoop添加到组合中,则只需从Kafka中提取相同的数据即可填充HDFS目录。

有很多博客谈论通过Kafka进行微服务通信

关于java - Hadoop与电子商务门户的集成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47529688/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com