hadoop - 使用 SAP HANA 和 Hadoop/HDFS 的传感器数据

Question

我想将传感器数据保存在合适的数据库中。我每分钟有 100.000 次写入，每次写入 100 个字节。我也想对数据进行分析。

我想到了 hadoop，因为它有许多不同的框架来分析数据。(例如 Apache spark)

现在我的问题:Hbase 一个 nosql 数据库将是合适的解决方案，因为它有一个列族数据模型来访问大列。但它运行在 HDFS 之上。HDFS 有 64 MB 大小的数据 block 。如果我有 100 字节数据，这对我意味着什么？我也想在 hadoop 之上运行机器学习。 HBASE和SAP Hana可以一起使用吗？(SAP Hana run with hadoop)

Answer 1

让我尝试逐步解决您的问题:

I would like to save sensor data in a suitable database.

我会建议像 OpenTSDB 这样的东西此处在 HBase 上运行，因为无论如何您也想运行 Hadoop 集群。

I have 100.000 writes every minute with 100 bytes size each write.

正如您正确指出的那样，小消息/文件是 HDFS 的一个问题。但是对于 HBase 不是这样( block 大小由 HBase 抽象出来，不需要为底层 HDFS 调整它)。

Hbase 上的 OpenTSDB 或纯 Hbase 等解决方案可以很好地处理此负载。

也就是说，由于您显然想通过 Hbase 和 SAP Hana 访问您的数据(这可能需要将许多 100 字节文件的测量结果聚合到更大的文件中，因为现在 HDFS block 大小开始发挥作用)我建议通过以下方式处理传入数据Kafka首先，然后通过 Kafka 上的单独消费者从 Kafka 读取到原始 HDFS(以某种方式与 Hana 兼容)和 Hbase。

Would it be possible to use HBASE and SAP Hana together?

参见上面的解释，在我看来，Kafka(或类似的分布式队列)将是您想要从小消息流中摄取到多个存储中的东西。

HDFS has 64 MB size of data Blocks. What does that mean for me if i have 100 byte data?

• 对 Hbase 无关紧要。
• 对 Kafka 来说无关紧要(至少对于您的吞吐量和消息大小而言，这无关紧要 :))
• 原始 HDFS 存储将要求您手动将这些 100 字节的消息聚合成更大的文件(也许 Avro 在这里对您有帮助)

Also i would like to run machine learning on top of Hadoop.

没关系，HDFS 是一个分布式系统，因此您可以扩展系统以获得更高的性能，并添加基于 Spark 的机器学习解决方案或您希望随时在 Hadoop 上运行的任何其他东西。最坏的情况是您必须向集群添加另一台机器，但是一旦数据存储在 HDFS 中并且您的集群足够强大，您可以同时在数据上运行的东西的数量没有硬性限制。