mongodb - 在redis中，如何高效查询大表？

Question

我有一个包含 9 列和 1200 万行的大表，如下所示:

col1  col2  col3  col4  col5  col6  col7  col8  col9
12.3  37.4  7771  -675  -23   23.8  78.8  -892  67.5
79.3  -6.3  6061  -555  -24   28.1  77.1  -889  32.6
55.6  -7.3  8888  -921  -56   78.3  22.3  -443  22.9
....  ....  ....  ....  ....  ....  ....  ....  ....

目前该表在我的硬盘中保存为TSV(制表符分隔矢量)格式，大小为432MB。我想将表填充到 Redis 中，以便最有效地完成这种查询:给定每列的最小值和最大值，计算给定范围内的行数，即

(min_col1 <= col1 <= max_col1) &&
(min_col2 <= col2 <= max_col2) &&
(min_col3 <= col3 <= max_col3) &&
(min_col4 <= col4 <= max_col4) &&
(min_col5 <= col5 <= max_col5) &&
(min_col6 <= col6 <= max_col6) &&
(min_col7 <= col7 <= max_col7) &&
(min_col8 <= col8 <= max_col8) &&
(min_col9 <= col9 <= max_col9)

所以我的问题是:

1)如何将表填充到Redis中？我应该使用什么样的键/值数据结构？哈希、列表、集合、排序集合或其他什么？

2) 填充表格后，给定 9 列的 9 个最小值和最大值，如何编写查询以获得计数，即落在 9 个范围内的行数？我能想到的一种方法是，先找出1到9中每个X满足(min_colX <= colX <= max_colX)的行，然后计算它们的交集。但我想这不是最有效的方法。我只想尽快检索计数。

顺便说一下，我已经尝试过 MongoDB。使用 mongoimport 填充表很简单，但需要 10 秒才能完成我的查询，这太慢了，对于我的实时应用程序来说是 Not Acceptable 。相比之下，Redis将数据保存在内存中，所以希望Redis能够将查询时间缩短到1秒。

供您引用，这是我在 MongoDB 中所做的。

mongoimport -u my_username -p my_password -d my_db -c my_coll --type tsv --file my_table.tsv --headerline
use my_db
db.my_coll.ensureIndex({col1:1, col2:1, col3:1, col4:1, col5:1, col6:1, col7:1, col8:1, col9:1 }).
db.my_coll.count({ col1: {$gte: min_col1, $lte: max_col1), col2: {$gte: min_col2, $lte: max_col2}, col3: {$gte: min_col3, $lte: max_col3}, col4: {$gte: min_col4, $lte: max_col4}, col5: {$gte: min_col5, $lte: max_col5}, col6: {$gte: min_col6, $lte: max_col6}, col7: {$gte: min_col7, $lte: max_col7}, col8: {$gte: min_col8, $lte: max_col8}, col9: {$gte: min_col9, $lte: max_col9} }).

我使用 explain() 来确保实际使用了 Btree 索引而不是表扫描。

我还尝试创建一个 ram 磁盘并将我的 MongoDB 数据库保存到 ram 磁盘中，它将查询时间从 10 秒缩短到 9 秒，这对于我的实时应用程序来说是远远不能接受的。

mkdir ~/ram
chmod -R 755 ~/ram
mount -t tmpfs none ~/ram -o size=8192m
mongod --dbpath ~/ram --noprealloc --smallfiles

Answer 1

让每个 col 成为一个排序集，然后在每个键上使用 ZRANGEBYSCORE，并在应用程序中进行交集和计数。我用 phpredis我在内存中做了很多，使用 array_intersect。

性能问题在 ZADD 中，您将使用它来创建排序集。

一旦您在 Redis 的内存中创建了所有排序集，剩下的就非常快了。

---

创建排序集(Redis 示例)

ZADD col1 12.3 line1
ZADD col1 79.3 line2
ZADD col1 55.6 line3

ZADD col2 37.4 line1
ZADD col2 -6.3 line2
ZADD col2 -7.3 line3

PHP，查找范围、交集和计数

$COL1 = $redis->zrangebyscore('col1', -10, 10);
$COL2 = $redis->zrangebyscore('col2', 2010, 2012);
$count = count(array_intersect($COL1, $COL2));

希望对您有所帮助。