- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个大约有 600 万行的表,并且有很多包含大量数据的列。
我想在此表上实现一个主要基于创建行的日期范围和其他一些列的搜索功能。
不需要其他表,因此不存在查询中的连接问题。此外,我还在日期列和其他相关列上实现了索引。
考虑到表的行数,如果我搜索大范围,搜索仍然需要很长时间。我已将 key_buffer_size 增加到 1G,并将 mysql_query_cache 增加到 500M。
我想知道,
我想在增加 RAM 或 CPU 之前探索所有选项。
更新:
下面是更多的细节
CPU:英特尔四核内存:4GB操作系统:CentOS
+-----------------------------+---------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-----------------------------+---------------+------+-----+---------+----------------+
| deal_id | int(11) | NO | PRI | NULL | auto_increment |
| deal_group_id | int(11) | NO | PRI | NULL | |
| site_id | int(11) | YES | MUL | NULL | |
| datetime | char(14) | YES | MUL | NULL | |
| deal_category | varchar(200) | YES | MUL | NULL | |
| vendor_name | varchar(200) | YES | | NULL | |
| area | varchar(200) | YES | MUL | NULL | |
| address | text | YES | | NULL | |
| country_code | varchar(5) | NO | MUL | NULL | |
| expired | int(1) | NO | | 0 | |
| type | varchar(20) | NO | | REGULAR | |
| pn_id | int(11) | NO | | 0 | |
+-----------------------------+---------------+------+-----+---------+----------------+
以上是架构。在 where 子句中,使用了 datetime
in range、deal_category
、vendor_name
in like 和 country_code
的组合。所有的索引。下面是一个示例查询
选择不同的 t.deal_id、t.deal_group_id、t.site_name、UNIX_TIMESTAMP(t.datetime) 作为日期时间,t.deal_category 作为 deal_category,t.vendor_name,t.area 作为区域,t.country_code FROM table t WHERE 1 AND t。 country_code = 'US' AND datetime BETWEEN '20110601' AND '20120303' limit 10;
我已经将 innodb_buffer_pool_size
增加到 75% 左右,它提高了一些查询的性能,但如果包括所有过滤器,仍然需要很多时间。
下面是my.cnf文件设置,
query_cache_size=500M
max_allowed_packet= 1G
innodb_buffer_pool_size = 3G
key_buffer_size = 1G
这张表很忙,每分钟有数百次写入。
希望这能提供更清晰的图片。
更多更新
下面是表的解释输出和索引,
+----+-------------+-------+------+-----------------------+--------------+---------+-------+--------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+-----------------------+--------------+---------+-------+--------+-------------+
| 1 | SIMPLE | t | ref | country_code,datetime | country_code | 17 | const | 521556 | Using where |
+----+-------------+-------+------+-----------------------+--------------+---------+-------+--------+-------------+
索引:
+-------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+
| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment |
+-------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+
| table | 0 | PRIMARY | 1 | deal_id | A | 5810775 | NULL | NULL | | BTREE | |
| table | 0 | PRIMARY | 2 | deal_group_id | A | 5810775 | NULL | NULL | | BTREE | |
| table | 1 | site_id | 1 | site_id | A | 2109 | NULL | NULL | YES | BTREE | |
| table | 1 | area | 1 | area | A | 18927 | NULL | NULL | YES | BTREE | |
| table | 1 | country_code | 1 | country_code | A | 20 | NULL | NULL | | BTREE | |
| table | 1 | deal_group_id | 1 | deal_group_id | A | 1936925 | NULL | NULL | | BTREE | |
| table | 1 | deal_category | 1 | deal_category | A | 20 | NULL | NULL | YES | BTREE | |
| table | 1 | datetime | 1 | datetime | A | 5810775 | NULL | NULL | YES | BTREE | |
+-------------+------------+-------------------+--------------+---------------+-----------+-------------+----------+--------+------+------------+---------+
谢谢
最佳答案
对于运行 Innodb 的数据库,您需要将 innodb_buffer_pool_size 的值增加到专用服务器上大约 70 - 80% 的可用 RAM,以便尽可能多的数据可以放入内存
<创建包含您要搜索的字段的单个索引
LIKE %value% 搜索不使用索引
对于额外的调整,您需要提供更多关于您将执行的架构和搜索的信息
移除 WHERE 子句中的“1 AND”比较
将日期时间 BETWEEN '20110601' AND '20120303' 更改为 DATE(datetime) BETWEEN STR_TO_DATE('20110601', '%Y%m%d') AND STR_TO_DATE('20120303', '%Y%m% d').我假设日期时间字段包含 MySQL 格式的日期
考虑将日期时间字段从 char(14) 更改为日期时间字段以加快计算速度
如果 country_code 列只有 2 位国家代码,请考虑将其大小更改为 char(2)
删除 deal_id 列之前的 DISTINCT,这是一个自动增量和主键
关于MySql单表优化选项,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9544433/
给定一个 Option[Future[Option[Int]]] : scala> val x: Option[Future[Option[Int]]] = Some ( Future ( Some
如果我理解正确,EitherT[Option,A,B] 应该与 Option[Either[A,B]] 相同,但编译器不同意.以下代码编译失败: def f[A,B] = implicitly[Eit
我刚开始在使用 parcel.js 构建静态 Assets 时遇到此错误。它在本地工作,但我在 Heroku 上的构建出错,我不确定它是否相关。 最佳答案 得到同样的问题。通过将 core-js 安装
当我生成 Telerik Report 时,只有 Export PDF 可用。即使我将 docx 和 xlsx 的配置设置为 true。这是我在网络配置中的配置。
我的 iTunesConnect 应用程序显示 Apple Pay 选项。我正在使用布伦特里。 即使我们没有在应用程序中使用 Apple Pay 功能。 有人可以帮我解决如何在我的 itunesCon
我正在 Raspbian 中从命令行运行以下查询: mysql -u $NAME -p $PASS Tweets -e "SELECT count(*) FROM raw_tweets;" 它输出以下
我正在尝试使用 ffmpeg(在 linux 下)为视频添加一个小标题。所以,我使用: ffmpeg -i hk.avi -r 30000/1001 -metadata title="SOF" hk_
我正在尝试使用 ffmpeg 使用 ffserver 流式传输视频。您将在 ffserver1.conf 文件下方找到 ffmpeg 命令的日志输出。 其中一个错误引用了预设,每次我尝试使用预设时,我
我正在尝试对 Option 使用 fold 或 map 操作而不是 match。 我有一个选项 val ao: Option[String] = xxxx 和一个函数 f: (String => Fu
Dockerfile documentation表示有可能通过 --platform FROM 中的选项像这样的指令: FROM [--platform=] [AS ] 在我的 dockerfile
我不确定“属性(property)”或“选项”是否是正确的术语,但这是我需要弄清楚的。 鉴于以下情况: ' $.fileup({ url: '/file/upload',
我正在尝试使用 jQuery 检查是否选择了值 = 1 的选择选项,然后将类添加到某些元素。但有些东西不起作用。可以请人看一下代码吗? 我的代码: Reservation
我对 VIM 中的这些感到困惑。有些事情需要设置,而另一些则让。 而且,我如何检查某个选项。我知道这是一个选项,因为我使用 set 来更改它。 例如,如何检查当前文件类型选项是否为 java? 最佳答
关闭。这个问题需要多问focused 。目前不接受答案。 想要改进此问题吗?更新问题,使其仅关注一个问题 editing this post . 已关闭 8 年前。 Improve this ques
我在看《Professional F# 2.0》一书作者展示如下代码 let a string : option = None if a.IsNone then System.Console.
我习惯使用方法顶部的 java 样板检查输入参数: public static Boolean filesExist(String file1, String file2, String file3
假设我有一串 "Insert Post -title Some PostTitle -category 2 -date-posted 2013-02:02 10:10:10" 我一直在尝试做的是将这个
从 1.3.70 EAP 开始,在 org.jetbrains.kotlin.gradle.dsl.KotlinJvmOptions 这是 var useIR: kotlin.Boolean 哪个激活
我无法获取订购捆绑商品的所有子产品及其选项。这可能吗? 最佳答案 以下是您如何找出哪些产品应与所有其他项目一起附加到列表中的捆绑产品中的方法: foreach ($order->getAllItems
这个问题不太可能对任何 future 的访客有帮助;它只与一个较小的地理区域、一个特定的时间点或一个非常狭窄的情况相关,通常不适用于全世界的互联网受众。如需帮助使此问题更广泛适用,visit the
我是一名优秀的程序员,十分优秀!