gpt4 book ai didi

performance - 比较 druid 和 pipelinedb

转载 作者:行者123 更新时间:2023-12-03 15:00:00 24 4
gpt4 key购买 nike

我一直在研究流数据的聚合,我找到了 2 个工具来实现相同的目标。他们是德鲁伊和管道数据库。我已经了解两者的实现和架构。但无法想出一种方法来对这两个进行基准测试。是否有任何现有的基准测试已经完成?或者,除了速度和可扩展性之外,如果我想自己做一个基准测试,我需要考虑的所有因素是什么。任何想法、链接和帮助将是非常可观的。也请分享您自己使用 pipelinedb 和 druid 的经验

谢谢

最佳答案

更新:

在阅读 PipelineDB 页面后,我只是想知道您为什么需要比较这些不同的东西?

Druid 的安装和维护非常复杂,它需要几个外部依赖项(例如 zookeeper 和 hdfs/amazon,它们也必须维护)。

并以这个价格购买德鲁伊的主要功能:面向列分布式储存和加工。这也意味着开箱即用的水平可扩展性,并且它是完全自动的,您甚至不必考虑它。

所以如果你不需要它的分布式特性,我会说你根本不需要德鲁伊。

第一个版本:

我没有使用管道数据库的经验(它是什么?谷歌什么也没显示,请分享一些链接),但我对德鲁伊有很多经验。所以我会考虑(除了 [查询] 速度和可扩展性):

  • 摄取性能(每秒多少行/分钟/小时/...可以是
    插入?)
  • 摄取的 RAM 消耗(以目标速度摄取需要多少 RAM?)
  • 压缩级别(多少磁盘空间需要一个
    小时/天/月/...数据?)
  • 容错(当某些
    的组件失败?它对我的业务至关重要?)
  • 缓存(请记住)
  • 关于performance - 比较 druid 和 pipelinedb,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37894254/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com