node.js - Cassandra 写入性能

Question

我们有这个 Cassandra 集群，想知道当前性能是否正常以及我们可以采取哪些措施来改进它。

集群由位于同一数据中心的 3 个 Node 组成，总容量为 465GB，每个 Node 有 2GB 的堆。每个 Node 有 8 个核心和 8GB 或 RAM。不同组件的版本有cqlsh 5.0.1 | Cassandra 2.1.11.872 | DSE 4.7.4 | CQL spec 3.2.1 | Native protocol v3

工作负载描述如下:

• Keyspace 使用 org.apache.cassandra.locator.SimpleStrategy 放置策略和复制因子 3(这对我们来说非常重要)
• 工作负载主要由对单个表的写入操作组成。表架构如下:
CREATE TABLE aiceweb.records (
process_id timeuuid,
partition_key int,
collected_at timestamp,
received_at timestamp,
value text,
PRIMARY KEY ((process_id, partition_key), collected_at, received_at)
) WITH CLUSTERING ORDER BY (collected_at DESC, received_at ASC)
AND read_repair_chance = 0.0
AND dclocal_read_repair_chance = 0.1
AND gc_grace_seconds = 864000
AND bloom_filter_fp_chance = 0.01
AND caching = { 'keys' : 'ALL', 'rows_per_partition' : 'NONE' }
AND comment = ''
AND compaction = { 'class' : 'org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy' }
AND compression = { 'sstable_compression' : 'org.apache.cassandra.io.compress.LZ4Compressor' }
AND default_time_to_live = 0
AND speculative_retry = '99.0PERCENTILE'
AND min_index_interval = 128
AND max_index_interval = 2048;


写入操作来自基于 NodeJS 的 API 服务器。使用Datastax提供的Nodejs驱动(版本最近从2.1.1更新到3.2.0)。负责执行写入请求的代码将对每个主键的写入操作进行分组，此外，它将请求大小限制为每个请求 500 个 INSERT。写入操作作为 BATCH 执行。唯一明确设置的选项是 prepare:true, logged:false 。

OpsCenter 反射(reflect)了去年使用此设置时每秒少于一个请求的历史水平(每个写入请求是针对同一表和同一分区的最多 500 个操作的 BATCH)。几乎全年，90% 的请求的写入请求延迟均为 1.6 毫秒，但最近 90% 的请求的延迟已增加至 2.6 毫秒以上。操作系统负载一直低于 2.0，磁盘利用率大部分时间都低于 5%，少数峰值达到 7%。全年平均堆使用量为 1.3GB，峰值为 1.6GB，尽管目前该峰值在上个月还在上升。

此设置的问题是 API 性能全年都在下降。目前，BATCH 操作可能需要 300 毫秒到 12 秒以上(导致操作超时)。在某些情况下，即使 OpsCenter 报告所有 Node 都处于事件状态且运行状况良好，NodeJS 驱动程序也会报告所有 Cassandra 驱动程序已关闭。

压缩统计信息在每个 Node 上始终显示 0 和 nodetool tpstats显示如下内容:

Pool Name                    Active   Pending      Completed   Blocked  All time blocked
CounterMutationStage              0         0          10554         0                 0
ReadStage                         0         0         687567         0                 0
RequestResponseStage              0         0         767898         0                 0
MutationStage                     0         0         393407         0                 0
ReadRepairStage                   0         0            411         0                 0
GossipStage                       0         0        1314414         0                 0
CacheCleanupExecutor              0         0             48         0                 0
MigrationStage                    0         0              0         0                 0
ValidationExecutor                0         0            126         0                 0
Sampler                           0         0              0         0                 0
MemtableReclaimMemory             0         0            497         0                 0
InternalResponseStage             0         0            126         0                 0
AntiEntropyStage                  0         0            630         0                 0
MiscStage                         0         0              0         0                 0
CommitLogArchiver                 0         0              0         0                 0
MemtableFlushWriter               0         0            485         0                 0
PendingRangeCalculator            0         0              4         0                 0
MemtablePostFlush                 0         0           7879         0                 0
CompactionExecutor                0         0         263599         0                 0
AntiEntropySessions               0         0              3         0                 0
HintedHandoff                     0         0              8         0                 0

Message type           Dropped
RANGE_SLICE                  0
READ_REPAIR                  0
PAGED_RANGE                  0
BINARY                       0
READ                         0
MUTATION                     0
_TRACE                       0
REQUEST_RESPONSE             0
COUNTER_MUTATION             0

对此问题的任何帮助或建议将不胜感激。请随时索取分析所需的任何其他信息。

致以诚挚的问候

Answer 1

您的请求数量保持不变，还是工作量在增加？

看起来服务器过载(可能是网络)。