MySQL 多对多关系在大表上速度慢

Question

我有 2 个表，它们与一个关系表相连。

有关表格的更多详细信息:

• 商店(目前有 140.000 行)

id(索引)
店名
city_id(索引)
...

• 类别(目前有 400 行)

id(索引)
猫名

• store_cat_relation

store_id
cat_id

每家商店都属于一个或多个类别。

在 store_cat_relation 表中，我有关于 (store_id, cat_id) 和 (cat_id, store_id) 的索引。

我需要找出巴黎 (city_id = 1) 的超市 (cat_id = 1) 的总量。我有一个有效的查询，但是当数据库包含巴黎的很多商店或者数据库有很多超市时，它会花费很长时间。这是我的查询:

SELECT COUNT(*) FROM stores s，store_cat_relation r WHERE s.city_id = '1' AND r.cat_id = '1' AND s.id = r.store_id

此查询大约需要 0.05 秒。数据库包含大约 8000 家超市(类别 1 的商店)和巴黎的大约 8000 家商店(store_id = 1)。目前巴黎共有 550 家超市。

我想将查询时间减少到 0.01 秒以下，因为数据库只会越来越大。

EXPLAIN 的结果是这样的:

id: 1
select_type: SIMPLE
table: store_cat_relation
type: ref
possible_keys: cat_id_store_id, store_id_cat_id
key: cat_id_store_id
key_len: 4
ref: const
rows: 8043
Extra: Using index
***************************************
id: 1
select_type: SIMPLE
table: stores
type: eq_ref
possible_keys: PRIMARY, city_id
key: PRIMARY
key_len: 4
ref: store_cat_relation.store_id
rows: 1
Extra: Using index condition; Using where

有人知道为什么这个查询需要这么长时间吗？

编辑:我还创建了一个 SQL fiddle ，每个表有 300 行。行数少时，速度非常快，但我需要它在 +100.000 行时速度快。

http://sqlfiddle.com/#!9/675a3/1

Answer 1

我做了一些测试，最好的性能是使用查询缓存。您可以按需启用它们并使用它。所以你可以说哪个查询被插入到缓存中。如果您想使用它，您必须在/etc/my.cnf 中进行更改以使其持久化。如果您更改表，您还可以运行一些查询来预热缓存

这里是一个示例

表格大小

MariaDB [yourSchema]> select count(*) from stores;
+----------+
| count(*) |
+----------+
| 10000000 |
+----------+
1 row in set (1 min 23.50 sec)

MariaDB [yourSchema]> select count(*) from store_cat_relation;
+----------+
| count(*) |
+----------+
| 10000000 |
+----------+
1 row in set (2.45 sec)

MariaDB [yourSchema]>

验证缓存是否开启

MariaDB [yourSchema]> SHOW VARIABLES LIKE 'have_query_cache';
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| have_query_cache | YES   |
+------------------+-------+
1 row in set (0.01 sec)

设置缓存大小和按需

MariaDB [yourSchema]> SET GLOBAL query_cache_size = 1000000;
Query OK, 0 rows affected, 1 warning (0.00 sec)

MariaDB [yourSchema]> SET GLOBAL query_cache_type=DEMAND;
Query OK, 0 rows affected (0.00 sec)

启用分析

MariaDB [yourSchema]> set profiling=on;

首先执行您的查询 - 需要 0.68 秒

MariaDB [yourSchema]> SELECT SQL_CACHE COUNT(*) FROM stores s, store_cat_relation r WHERE s.city_id = '1' AND r.cat_id = '1' AND s.id = r.store_id;
+----------+
| COUNT(*) |
+----------+
|      192 |
+----------+
1 row in set (0.68 sec)

现在从缓存中获取它

MariaDB [yourSchema]> SELECT SQL_CACHE COUNT(*) FROM stores s, store_cat_relation r WHERE s.city_id = '1' AND r.cat_id = '1' AND s.id = r.store_id;
+----------+
| COUNT(*) |
+----------+
|      192 |
+----------+
1 row in set (0.00 sec)

查看持续时间为美国的个人资料

MariaDB [yourSchema]> show profile;
+--------------------------------+----------+
| Status                         | Duration |
+--------------------------------+----------+
| starting                       | 0.000039 |
| Waiting for query cache lock   | 0.000008 |
| init                           | 0.000005 |
| checking query cache for query | 0.000056 |
| checking privileges on cached  | 0.000026 |
| checking permissions           | 0.000014 |
| checking permissions           | 0.000025 |
| sending cached result to clien | 0.000027 |
| updating status                | 0.000048 |
| cleaning up                    | 0.000025 |
+--------------------------------+----------+
10 rows in set (0.05 sec)

MariaDB [yourSchema]>