database - Cassandra 中的频繁更新表

Question

我正在做一个基于物联网传感器的项目。在这种情况下，每个传感器每分钟都会向服务器发送数据。我预计 future 最多有 10 万个传感器。

我将每个传感器发送的数据记录在历史表中。但是我有一个实时信息表，其中正在更新每个传感器的最新状态。

所以我想每分钟更新一次 Live Table 中与每个传感器对应的行。

这有什么问题吗？我读到 cassandra 中频繁的更新操作不好。

有没有更好的方法？

我已经在我的项目中使用 Redis 来存储 session 等。我应该将这个 LIVE 表移动到 Redis 吗？

Answer 1

这就是您要查找的内容:https://docs.datastax.com/en/cassandra/2.1/cassandra/operations/ops_memtable_thruput_c.html

How you tune memtable thresholds depends on your data and write load. Increase memtable throughput under either of these conditions:

• The write load includes a high volume of updates on a smaller set of data.

• A steady stream of continuous writes occurs. This action leads to more efficient compaction.

因此增加 commitlog_total_space_in_mb 将使 Cassandra 将内存表刷新到磁盘的频率降低。这意味着您的大部分更新将仅发生在内存中，并且您将拥有更少的数据重复项。