performance - Cassandra 分区大小和性能？

Question

我在自己的笔记本电脑(8 核，16GB)上玩 cassandra-stress 工具，Cassandra 2.2.3 开箱即用，具有其库存配置。我所做的正是此处描述的内容:

http://www.datastax.com/dev/blog/improved-cassandra-2-1-stress-tool-benchmark-any-schema

并测量其插入性能。

我的观察是:

• 使用来自 https://gist.github.com/tjake/fb166a659e8fe4c8d4a3 的代码没有任何修改，我有大约 7000 次插入/秒。
• 将上述代码中的第 35 行 (cluster: fixed(1000)) 修改为“cluster: fixed(100)”时，i. e.将我的测试数据分布配置为具有 100 个集群键而不是 1000 个，性能跃升至约 11000 次插入/秒
• 将其配置为每个分区有 5000 个集群键时，性能下降到仅 700 插入/秒

文档说 Cassandra 每个分区最多可以支持 20 亿行。我不需要那么多，但我仍然不明白每个分区仅 5000 条记录如何使写入速度降低 10 倍，或者我是否遗漏了什么？

Answer 1

支持与“最佳表现”略有不同。您可以有非常宽的分区，但经验法则是出于其他性能原因尽量将它们保持在 100mb 以下。当整个分区可以存储在内存中时，可以更有效地执行某些操作。

举个例子(这是一个老例子，这是一个完整的非问题后 2.0，其中一切都是单次通过)但是在某些版本中，当大小大于 64mb 时，压缩有一个两次通过过程，这会使压缩吞吐量减半。它仍然适用于巨大的分区。我见过很多工作得很好的多 gb 的。但是具有巨大分区的系统很难在操作上使用(管理压缩/修复/gcs)。

我会说最初以 100mb 的经验法则为目标，然后从那里进行测试以找到自己的最优值。根据用例，事情总是会有不同的表现，为了充分利用节点，你能做的最好的就是一些最接近你要做的事情的基准(所有系统都是如此)。这似乎是您已经在做的事情，所以您绝对走在正确的道路上。