gpt4 book ai didi

apache-spark - Elasticsearch for Spark 3.0

转载 作者:行者123 更新时间:2023-12-03 01:14:47 26 4
gpt4 key购买 nike

我在使用spark3.0读取弹性时遇到问题。
我的Elasticsearch版本7.6.0
我使用了相同版本的弹性 jar 。
请提出解决方案。

最佳答案

Spark 3.0.0依赖于Scala 2.12,Elasticsearch-hadoop尚不支持。这个问题以及其他一些问题使我们无法将Spark 3.0.0与Elasticsearch一起使用。如果您想自己编译它,则对elasticsearch-hadoop(https://github.com/elastic/elasticsearch-hadoop/pull/1308)有一个pull-request,它至少应允许使用scala 2.12。不确定是否还会解决其他问题。

关于apache-spark - Elasticsearch for Spark 3.0,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63067645/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com