datastax-enterprise - OpsCenter 汇总* 表永远增长

Question

我们将 DSE 4.8.8 与 OpsCenter 5.2.4 结合使用。我们所有的 OpsCenter.rollups* 表都在不断增长，尤其是 rollups60 表:

Size of rollups60, 1 month

键空间OpsCenter使用org.apache.cassandra.locator.NetworkTopologyStrategy, DC1 1, DC2 1

表格设置:

CREATE TABLE "OpsCenter".rollups60 (
    key text,
    "timestamp" varint,
    value blob,
    PRIMARY KEY (key, "timestamp")
) WITH COMPACT STORAGE
    AND CLUSTERING ORDER BY ("timestamp" ASC)
    AND bloom_filter_fp_chance = 0.01
    AND caching = '{"keys":"ALL", "rows_per_partition":"NONE"}'
    AND comment = '{"info": "OpsCenter management data.", "version": [5, 2, 1]}'
    AND compaction = {'class': 'org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy'}
    AND compression = {'sstable_compression': 'org.apache.cassandra.io.compress.LZ4Compressor'}
    AND dclocal_read_repair_chance = 0.0
    AND default_time_to_live = 0
    AND gc_grace_seconds = 0
    AND max_index_interval = 2048
    AND memtable_flush_period_in_ms = 0
    AND min_index_interval = 128
    AND read_repair_chance = 0.25
    AND speculative_retry = 'NONE';

这些条目在 key 和 timestamp 列上没有 TTL，在 value 列上有 604618 的 TTL。

知道如何解决这个问题吗？我已经按照此处所述尝试了截断:Datastax support

Answer 1

您可以通过集群配置文件设置 1 分钟(rollup 60 表)ttl，例如:https://docs.datastax.com/en/opscenter/6.5/opsc/configure/opscChangingPerformanceDataExpiration_t.html

[cassandra_metrics]

1min_ttl = 43200
5min_ttl = 1209600
2hr_ttl = 0
24hr_ttl = 0

这也可以在每个代理的 address.yaml 中设置。不过，在 OpsCenter 集群配置中设置一次更容易。

您可以稍微调整表设置以改进墓碑的清除。

ALTER TABLE "OpsCenter".rollups60 WITH
  compaction = {'class': 'SizeTieredCompactionStrategy',
    'tombstone_compaction_interval': '1',
    'unchecked_tombstone_compaction': 'true',
    'tombstone_threshold': '0.05'} AND 
  gc_grace_seconds = 0

要更积极，您可以使用 LCS，但这会增加 IO 使用率。为了你的场景，虽然它可能没问题(至少使用上面的 ttl 选项)你实际上不会有那么多数据要存储。

ALTER TABLE "OpsCenter".rollups60 WITH
  compaction = {'class': 'LeveledCompactionStrategy', 
    'sstable_size_in_mb': '256mb',
    'tombstone_compaction_interval': '1',
    'unchecked_tombstone_compaction': 'true',
    'tombstone_threshold': '0.05'} AND 
  gc_grace_seconds = 0