Cassandra RandomPartitioner 和 "full table scans"

Question

我似乎无法找到有关如何使用 RandomPartitioner 来拆分键来遍历列族中的所有行的信息。我看到的完整扫描的常用方法是“使用 MapReduce”(这将是一个选项，但现在不是)并创建一个范围切片查询以批量检索行，用最后一个更新范围的下限每批处理后看到的 key 。当您无法保证键的顺序时，这似乎是一种奇怪的方法，所以我想知道在这种情况下公认的做法是什么。

需要明确的是，这种遍历整个列族的事情并不是经常发生的，也不是我们标准的数据库访问模式的一部分。它不需要特别快(当然，虽然它会很好!)我们只需要偶尔这样做以检查垃圾等。我们不希望返回的行是一致的快照或类似的东西。

Answer 1

使用 Hadoop MapReduce 是正确的方法，但我知道目前这对您来说不是一个可行的选择。所以你有几种可能性:

1. 如果您的键具有某种逻辑顺序并且可以计算或以其他方式提前知道，您可以批量获取一组键。

2. 您可以创建一个类似于 Cassandra 的 ColumnFamilyInputFormat 的范围客户端有效。

3. 你可以做一个范围切片 using Hector like this或另一个库中的一些类似结构。