java - 使用带有 varchar 键的 CQL3 对 Cassandra 中的大型结果集进行分页

Question

我正在努力将旧的基于 thrift 的代码更新为 CQL3。

代码的一部分是遍历由 20M+ 行组成的表的整个数据集。这部分最初由于内存使用而导致程序崩溃，因此我创建了一个 RowIterator 类，它使用 TokenRanges (和 Hector)迭代列族。

当尝试使用 CQL3 重写此代码时，我在分页数据时遇到问题。我在 http://www.datastax.com/documentation/cql/3.0/cql/cql_using/paging_c.html 找到了一些信息，但是当在第一个“页面”尝试此代码时

resultSet = session.execute("select * from " + TABLE + " where token(key) <= token(" + offset + ")");

我收到错误

com.datastax.driver.core.exceptions.InvalidTypeException: Invalid type for value 0 of CQL type varchar, expecting class java.lang.String but class java.lang.Integer provided

当然，链接中的示例使用数字键。有没有办法使用 varchar (UTF8Type) 键执行此操作？

现在似乎有一个内置功能( https://issues.apache.org/jira/browse/CASSANDRA-4415 )，但我找不到让我继续下去的示例。另外，我现在必须为 Cassandra 1.2.9 解决这个问题。

Answer 1

因此，简单的答案是升级到 Cassandra 2.0.X 并使用新的内置分页功能。但要在 Cassandra 1.2 上完成它，您就走在正确的道路上。您的语法应该有效，如果您运行在 cqlsh 中尝试的查询，您是否会收到相同的错误？当像这样的分页时，最好像示例中那样使用“">”，这可能是问题所在。您希望从 select * from table limit 100 开始，然后转到 select * from table where token(key)>token('last key') limit 100

我也会尝试使用准备好的声明。字符串操作可能会对偏移量做一些有趣的事情。