cassandra - 提交日志增长的问题

Question

我有一台机器，提交日志不断增加到 7.8 GB 并且仍在增长，我检查了 cassandra.yaml 中注释的属性 commitlog_total_space_in_mb: 8192 。我怀疑它必须是默认的。

1) 增加提交日志大小会出现什么问题？
2)是不是说我的memtable阈值没有达到？

编辑:

memtable_cleanup_threshold = 1/(memtable_flush_writers + 1) * (memtable_offheap_space_in_mb + memtable_heap_space_in_mb)

推荐值在哪里，

memtable_flush_writers -  Smaller of number of disks or number of cores with a minimum of 2 and a maximum of 8, so in our case it is '8'

memtable_offheap_space_in_mb - 1/4 of the heap size, so in our case it is 2GB
memtable_heap_space_in_mb - 1/4 of the heap size, so in our case it is 2GB

所以计算将是，

 memtable_cleanup_threshold = 1/(8 + 1) * 4096
 memtable_cleanup_threshold = 455MB

为什么它没有刷新达到 455 MB 并删除提交日志？

Answer 1

是的，8192MB(或日志文件磁盘空间的 1/4，以较小者为准 - 如果您的服务器较小，则可以应用)是默认值。来源:Cassandra documentation on commitlog_total_space_in_mb .

回答您的问题:

(1) 如果提交日志文件继续增长，您可能会耗尽磁盘空间。

(2) 尚未达到配置的阈值。

在添加其他问题后进行编辑:

刷新内存表时不会删除提交日志。

请注意，文件大小是根据您的配置大小预先分配的 - 我认为您已经弄清楚了这一点，但请注意，如果其他人尝试通过 ls 或类似方式观察文件大小。

如果您nodetool排出或重新启动，它们将被清除。否则，它们将继续增长到最大尺寸并旋转。

这是一个测试，看看如果强制刷新会发生什么:

nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 1292049

cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
10418

cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0

nodetool flush

nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 0

cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
10419

cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0

nodetool drain

nodetool tablestats keyspace.table | grep "Memtable data size"
Memtable data size: 0

cat /var/lib/cassandra/commitlog/CommitLog-A.log | wc -l
no such file

cat /var/lib/cassandra/commitlog/CommitLog-B.log | wc -l
0

如果它根据 memtable 配置自动刷新，您会看到类似的结果。在以下观察到的刷新过程中，提交日志也没有被清除: