java - Cassandra 异常

Question

对于我当前的项目，我使用 Cassandra Db 来频繁获取数据。每秒至少有 30 个 Db 请求命中。对于每个请求，至少需要从数据库获取 40000 行。以下是我当前的代码，此方法将返回 HashMap 。

 public Map<String,String> loadObject(ArrayList<Integer> tradigAccountList){

        com.datastax.driver.core.Session session;
        Map<String,String> orderListMap = new HashMap<>();
        List<ResultSetFuture> futures = new ArrayList<>();
        List<ListenableFuture<ResultSet>> Future;

        try {
            session =jdbcUtils.getCassandraSession();
            PreparedStatement statement = jdbcUtils.getCassandraPS(CassandraPS.LOAD_ORDER_LIST);

            for (Integer tradingAccount:tradigAccountList){
                futures.add(session.executeAsync(statement.bind(tradingAccount).setFetchSize(3000)));
            }
            Future = Futures.inCompletionOrder(futures);

            for (ListenableFuture<ResultSet> future : Future){
                for (Row row: future.get()){
                    orderListMap.put(row.getString("cliordid"), row.getString("ordermsg"));
                }
            }

        }catch (Exception e){
        }finally {
        }
        return orderListMap;
    }

我的数据请求查询是这样的，“从 omsks_v1.ordersStringV1 中选择 cliordid、ordermsg，其中 tradacntid = ？”。我的 Cassandra 集群有 2 个节点，每个节点有 32 个并发读写线程，我的数据库架构如下

CREATE TABLE omsks_v1.ordersstringv1_copy1 (
    tradacntid int,
    cliordid text,
    ordermsg text,
    PRIMARY KEY (tradacntid, cliordid)
) WITH bloom_filter_fp_chance = 0.01
AND comment = ''
AND dclocal_read_repair_chance = 0.1
AND default_time_to_live = 0
AND gc_grace_seconds = 864000
AND max_index_interval = 2048
AND memtable_flush_period_in_ms = 0
AND min_index_interval = 128
AND read_repair_chance = 0.0
AND speculative_retry = '99.0PERCENTILE'
AND caching = {
    'keys' : 'ALL',
    'rows_per_partition' : 'NONE'
}
AND compression = {
    'sstable_compression' : 'LZ4Compressor'
}
AND compaction = {
    'class' : 'SizeTieredCompactionStrategy'
};

我的问题是 Cassandra 超时异常，如何优化我的代码来处理所有这些请求

Answer 1

如果您附加该异常(读/写异常)的片段，那就更好了。我假设你的阅读超时了。您正在尝试通过单个请求获取大型数据集。

For each request at least 40000 rows needed to fetch from Db

如果你有一个很大的记录并且结果集太大，如果在Cassandra.yaml中提到的时间限制内无法返回结果，它会抛出异常。

read_request_timeout_in_ms

您可以增加超时，但这不是一个好的选择。它可能会解决问题(可能不会抛出异常，但会花费更多时间返回结果)。

解决方案:对于大数据集，可以使用带限制的手动分页(范围查询)来获取结果。

SELECT cliordid,ordermsg FROM omsks_v1.ordersStringV1 WHERE tradacntid > = ? and cliordid > ? limit ?;

或者使用范围查询

SELECT cliordid,ordermsg FROM omsks_v1.ordersStringV1 WHERE tradacntid = ? and cliordid >= ? and cliordid <= ?;

这比获取整个结果集要快得多。

您还可以尝试减少获取大小。虽然它会返回整个结果集。

public 语句 setFetchSize(int fetchSize) 检查是否抛出异常。

setFetchSize controls the page size, but it doesn't control the maximum rows returned in a ResultSet.

还有一点需要注意:

tradigAccountList 的大小是多少？

一次请求过多也可能导致超时。 tradigAccountList 尺寸过大，并且一次执行大量读取请求(请求的负载平衡由 Cassandra 处理，可以处理多少个请求取决于集群大小和其他一些因素)可能会导致此异常。

一些相关链接:

Cassandra read timeout

NoHostAvailableException With Cassandra & DataStax Java Driver If Large ResultSet

Cassandra .setFetchSize() on statement is not honoured