gpt4 book ai didi

hadoop - Hive Druid 集成 : cannot add overlapping segments

转载 作者:行者123 更新时间:2023-12-02 20:35:46 25 4
gpt4 key购买 nike

我在集成 Hive 和 Druid 时遇到问题。我想将一些数据从 hive 插入到 Druid,但我总是遇到这个错误。

“失败:执行错误,从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。org.apache.hive.druid.io.druid.java.util.common.UOE:无法添加重叠段 [1992 -01-01T00:00:00.000Z/1993-01-01T01:00:00.000+01:00 和 1993-01-01T00:00:00.000+01:00/1994-01-01T00:00:00.000+01: 00] 同版本 [2018-07-08T02:59:03.084+01:00] (state=08S01,code=1)"

我认为这是因为我的 HDP 集群使用的是本地时间,而 Druid 使用的是 UTC。知道如何解决这个问题吗?

提前致谢。

最好的祝福,

何塞·科雷亚

最佳答案

无论时区如何,您认为在什么情况下会发生这两个时间戳在段中发生冲突的情况?您的分割粒度是多少?我认为这是摄取数据中的一些问题。

现在解决这个问题 - 您需要根据您的分段粒度和数据将 used=false 设置为您认为不正确的分段之一。之后它应该可以正常工作。

理想情况下,druid 在 UTC 时区中表现最好,尽管您可以更改时区,但我宁愿建议不要这样做,并让摄取数据相应地设置日期/时间。尽管在查询期间,您始终可以根据任何时区进行查询。

关于hadoop - Hive Druid 集成 : cannot add overlapping segments,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51228320/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com