cassandra - 如何找到cassandra键空间占用的总空间？

Question

我试图找到 cassandra 键空间占用的总物理大小。

我有一个 msg 生成器，它将大量消息转储到 cassandra 。我想找出 cassandra 表中消息的总物理大小。

当我这样做时 du -h /mnt/data/keyspace linux 说只有 12kb。我确信数据大小远大于此。其余的数据要么在内存表中，要么应该在压缩中。

如何找到该键空间在 cassandra 中占用的总空间？

我试过

     nodetool cfstats <keyspace>

但它只给我那个特定的节点。并且字节也存在于 memtable 中。我实际上想要跨集群中所有节点实际写入磁盘的键空间的总大小。有什么命令可以找到这个吗？

谢谢您的帮助。

Answer 1

什么是压实？
SStables 是不可变的——一旦一个 memtable 被刷新到磁盘，它就会保持不变，直到它被删除(过期)或压缩。压缩是将 sstables 组合在一起的过程。当您的工作负载更新繁重并且您的 SSTables 中可能存储了多个 CQL 行实例时，这很重要(请参阅 nodetool cfhistograms 中的 sstables per read)。当您读取该行时，您可能需要扫描多个 sstable 才能找到最新版本的数据(在 c* 中，最后一次写入获胜)。当我们压缩时，我们可能会占用磁盘上的额外空间(尤其是大小分层压缩，它可能会占用--这是理论上的最大值--压缩时数据大小的-50%)，因此保持可用磁盘空间很重要。但是，压缩不会从您的 key 空间目录中带走数据。这不是您的数据所在的位置。
那我的数据去哪儿了？
您怀疑尚未刷新到磁盘的数据必须位于内存表中，这是正确的。 一旦您的提交日志填满(2.0 中默认为 1gb，2.1 中默认为 8gb)或当您的 memtables 变得太大时，这些数据就会将其写入磁盘——memtable_total_space_in_mb。
如果你想在 sstables 中看到你的数据，你可以手动刷新它:nodetool flush并且您的 memtables 将以 SSTables 的形式放入您的 KS 目录中。或者耐心等待，直到达到 commitlog 或 memtable 阈值。
但是 cassandra 写的不是持久的吗？
是的，您的 memtable 数据也存储在提交日志中。如果您的机器断电等，已写入的数据仍会保留在磁盘中，并且提交日志数据将在启动时重播!