gpt4 book ai didi

hadoop - 数值数据 - 大容量 + 高速 + 快速检索

转载 作者:可可西里 更新时间:2023-11-01 14:50:24 24 4
gpt4 key购买 nike

我的数据看起来像每帧 1000 万个数值(实数 + 二进制)(想想数组,即数组的一行中有 1000 万个元素)并且大约有 100 帧/秒。一种时间序列。

我的挑战是:

(1) 存储——数据量

(2) 数据处理速度

(3) 实时分析

Cassandra适合这个吗?任何人都可以指导我一些应用程序架构(想想 hadoop、cassandra、kafka、storm 等),这些架构将在上述场景中发挥作用(从非常高的角度来看)。

我知道我问了一些大问题。在进行实验之前,我需要一个方向。

最佳答案

作为存储引擎或数据处理速度,Cassandra 和 Hadoop 将大放异彩。

现在进入实时部分,Cassandra 可以为您提供近乎实时的解决方案,而仅靠 Hadoop 是不够的(批处理性质、map-reduce 作业)。您可以尝试将 Hadoop 与 Storm 结合使用,这将为您提供接近实时的能力,但它会增加解决方案的复杂性(使用 spouts 和 bolts)。还您可以尝试一些规则引擎,这将为您提供实时解决方案的额外优势。

关于hadoop - 数值数据 - 大容量 + 高速 + 快速检索,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16455271/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com