cassandra - 如何有效地从 Cassandra 批量选择数据？

Question

我知道 Cassandra 不支持批量查询，也不推荐使用 IN，因为它会降低性能。但是我必须通过id来获取数据，例如:

select * from visit where id in ([visit_id array])

描述表:

CREATE TABLE visit (
    enterprise_id int,
    id text,
    ........
    PRIMARY KEY (enterprise_id, id)

数组可能有数千个元素。有什么办法可以有效地做到吗？

Answer 1

我首选的发出这类查询的方法是unroll IN 部分。这仅仅意味着您需要并行发出多个查询，因为 token-o-matic(又名 token 感知)驱动程序会将每个查询视为一个独立的查询，然后将这些查询传播到不同的节点，使每个单个节点成为负责将要到达的每个查询的协调器。

您应该最多运行 X 个查询并等待其中至少一个完成(我使用 Java):

final int X = 1000;
ArrayList<ResultSetFuture> futures = new ArrayList<>();
ArrayList<ResultSet> results = new ArrayList<>();
for (int i = 0; i < allTheRowsINeedToFetch; i++) {
    futures.add(session.executeAsync(myBeautifulPreparedStatement.bind(xxx,yyy,zzz)));
    while (futures.size() >= X || (futures.size() > 0 && futures.get(0).isDone())) {
        ResultSetFuture rsf = futures.remove(0);
        results.add(rsf.getUninterruptibly());
    }
}

while (futures.size() > 0) {
    ResultSetFuture rsf = futures.remove(0);
    results.add(rsf.getUninterruptibly());
}

// Now use the results

这被称为背压，它用于将压力从集群移动到客户端。

这种方法的好处是您可以真正并行(X = allTheRowsINeedToFetch)，也可以真正串行(X = 1)，一切都在之间仅取决于您的集群硬件。 X 的低值意味着您没有使用集群功能足够，高值意味着您会遇到麻烦，因为您会开始看到超时。所以，你真的需要调整它。