- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个 Rails 3 应用程序,其中有 5 个表嵌套在 2 个级别(表 1 有很多 > 表 2 有很多 > 表 3),其中包含大量信息。把它想象成网站访问者的跟踪系统,其中保存了大量数据并且需要快速保存,并且当我们检索数据以显示时执行大量查询,因为计算是为了提取数据。
起初我在创建我的应用程序时并没有考虑太多 sql,只是为了让它继续运行,然后我想我将开始优化数据库部分,因为会有数据可以使用。
我的所有表中总计有大约 100 万条记录,我认为是时候开始优化了,因为每个请求的响应时间为 1 秒。
我的 Rails 应用程序在不涉及任何连接的情况下对每个计数执行查询。只是 user.websites.hits 之类的默认行为(选择用户然后执行另一个选择以获取网站,并为每个网站执行一个选择以获取访问者的数量)。总的来说,我认为它会进行大约 80 次查询来获取我的页面结果(我知道......),其中包含我需要的所有内容,因此我创建了一个查询,该查询从单个请求中获取所有结果。
问题是,当我在我的数据库管理员中运行查询时,它需要大约 2 秒的时间来获取,而页面设法执行 80 个查询、加载模板和 Assets 并在 1.1 秒内呈现。
我不是数据库专家,但我的查询不好,或者有时最好不要像我一样跨多个表使用联接。如果我的数据继续以这种方式增长,我的连接查询会变得更快还是两个测试的加载速度都会变慢?
我在该查询的所有连接点和 WHERE 字段上都有索引,所以我认为这不是问题所在。
我考虑过缓存,但我觉得现在让 100 万条小数据记录开始这样做还为时过早。
有什么建议吗?
domain -> has_many: channels(we use it for split testing)
channel -> has_many: visits, visitors (unique visits by ip), sales
product -> has_many: visits, visitors (unique visits by ip), sales
The query tries to get the domains which includes:
domain_name,
channels_count,
visits_count,
visitors_count,
sales_count and
products_count via the visits table
ACTUAL QUERY:
SELECT
domains.id,
domains.domain,
COUNT(distinct kc.id) AS visits_count,
COUNT(distinct kv.id) AS visits_count,
COUNT(distinct kv.ip_address) AS visitors_count,
COUNT(distinct kp.id) AS products_count,
COUNT(distinct ks.id) AS sales_count
FROM
domains
LEFT JOIN
channels AS kc ON domains.id=kc.domain_id
LEFT JOIN
visits AS kv ON kc.id=kv.channel_id
LEFT JOIN
products AS kp ON kv.product_id=kp.id
LEFT JOIN
sales AS ks ON kc.id=ks.channel_id
WHERE
(domains.user_id=2)
GROUP BY
domains.id
LIMIT 20
OFFSET 0
"QUERY PLAN"
"Limit (cost=7449.20..18656.41 rows=20 width=50) (actual time=947.837..5093.929 rows=20 loops=1)"
" -> GroupAggregate (cost=7449.20..20897.86 rows=24 width=50) (actual time=947.832..5093.845 rows=20 loops=1)"
" -> Merge Left Join (cost=7449.20..17367.45 rows=282413 width=50) (actual time=947.463..4661.418 rows=99940 loops=1)"
" Merge Cond: (domains.id = kc.domain_id)"
" Filter: (kc.deleted_at IS NULL)"
" -> Index Scan using domains_pkey on domains (cost=0.00..12.67 rows=24 width=30) (actual time=0.022..0.146 rows=21 loops=1)"
" Filter: ((deleted_at IS NULL) AND (user_id = 2))"
" -> Materialize (cost=7449.20..16619.27 rows=58836 width=32) (actual time=947.430..4277.029 rows=99923 loops=1)"
" -> Nested Loop Left Join (cost=7449.20..16472.18 rows=58836 width=32) (actual time=947.424..3872.057 rows=99923 loops=1)"
" Join Filter: (kc.id = kv.channel_id)"
" -> Index Scan using index_channels_on_domain_id on channels kc (cost=0.00..12.33 rows=5 width=16) (actual time=0.008..0.090 rows=5 loops=1)"
" -> Materialize (cost=7449.20..10814.25 rows=58836 width=24) (actual time=189.470..536.745 rows=99923 loops=5)"
" -> Hash Right Join (cost=7449.20..10175.07 rows=58836 width=24) (actual time=947.296..1446.256 rows=99923 loops=1)"
" Hash Cond: (ks.product_id = kp.id)"
" -> Seq Scan on sales ks (cost=0.00..1082.22 rows=59022 width=8) (actual time=0.027..119.767 rows=59022 loops=1)"
" -> Hash (cost=6368.75..6368.75 rows=58836 width=20) (actual time=947.213..947.213 rows=58836 loops=1)"
" Buckets: 2048 Batches: 4 Memory Usage: 808kB"
" -> Hash Left Join (cost=3151.22..6368.75 rows=58836 width=20) (actual time=376.685..817.777 rows=58836 loops=1)"
" Hash Cond: (kv.product_id = kp.id)"
" -> Seq Scan on visits kv (cost=0.00..1079.36 rows=58836 width=20) (actual time=0.011..135.584 rows=58836 loops=1)"
" -> Hash (cost=1704.43..1704.43 rows=88143 width=4) (actual time=376.537..376.537 rows=88143 loops=1)"
" Buckets: 4096 Batches: 4 Memory Usage: 785kB"
" -> Seq Scan on products kp (cost=0.00..1704.43 rows=88143 width=4) (actual time=0.006..187.174 rows=88143 loops=1)"
"Total runtime: 5096.723 ms"
最佳答案
100 万条记录不是很多,连接 5 个表对于数据库来说是一项简单的任务。有索引很好,但它们有用吗?什么是EXPLAIN ANALYZE告诉你你的查询?那么配置呢?默认配置仅够入门,它不是为所有类型的工作负载提供最佳性能的设置。
但是不要担心一对夫妇的连接,关系数据库已经习惯了。
关于postgresql 性能连接与普通选择,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11661342/
我知道这个问题可能已经被问过,但我检查了所有这些,我认为我的情况有所不同(请友善)。所以我有两个数据集,第一个是测试数据集,第二个是我保存在数据框中的预测(预测值,这就是没有数据列的原因)。我想合并两
在 .loc 方法的帮助下,我根据同一数据框中另一列中的值来识别 Panda 数据框中某一列中的值。 下面给出了代码片段供您引用: var1 = output_df['Player'].loc[out
当我在 Windows 中使用 WinSCP 通过 Ubuntu 连接到 VMware 时,它提示: The server rejected SFTP connection, but it lis
我正在开发一个使用 xml web 服务的 android 应用程序。在 wi-fi 网络中连接时工作正常,但在 3G 网络中连接时失败(未找到 http 404)。 这不仅仅发生在设备中。为了进行测
我有一个XIB包含我的控件的文件,加载到 Interface Builder(Snow Leopard 上的 Xcode 4.0.2)中。 文件的所有者被设置为 someClassController
我在本地计算机上管理 MySQL 数据库,并通过运行以下程序通过 C 连接到它: #include #include #include int main(int argc, char** arg
我不知道为什么每次有人访问我网站上的页面时,都会打开一个与数据库的新连接。最终我到达了大约 300 并收到错误并且页面不再加载。我认为它应该工作的方式是,我将 maxIdle 设置为 30,这意味着
希望清理 NMEA GPS 中的 .txt 文件。我当前的代码如下。 deletes = ['$GPGGA', '$GPGSA', '$GPGSV', '$PSRF156', ] searchquer
我有一个 URL、一个用户名和一个密码。我想在 C# .Net WinForms 中建立 VPN 连接。 你能告诉我从哪里开始吗?任何第三方 API? 代码示例将受到高度赞赏... 最佳答案 您可以像
有没有更好的方法将字符串 vector 转换为字符 vector ,字符串之间的终止符为零。 因此,如果我有一个包含以下字符串的 vector "test","my","string",那么我想接收一
我正在编写一个库,它不断检查 android 设备的连接,并在设备连接、断开连接或互联网连接变慢时给出回调。 https://github.com/muddassir235/connection_ch
我的操作系统:Centos 7 + CLOUDLINUX 7.7当我尝试从服务器登录Mysql时 [root@server3 ~]# Mysql -u root -h localhost -P 330
我收到错误:Puma 发现此错误:无法打开到本地主机的 TCP 连接:9200(连接被拒绝 - 连接(2)用于“本地主机”端口 9200)(Faraday::ConnectionFailed)在我的
请给我一些解决以下错误的方法。 这是一个聊天应用....代码和错误如下:: conversations_controller.rb def create if Conversation.bet
我想将两个单元格中的数据连接到一个单元格中。我还想只组合那些具有相同 ID 的单元格。 任务 ID 名称 4355.2 参与者 4355.2 领袖 4462.1 在线 4462.1 快速 4597.1
我经常需要连接 TSQL 中的字段... 使用“+”运算符时 TSQL 强制您处理的两个问题是 Data Type Precedence和 NULL 值。 使用数据类型优先级,问题是转换错误。 1)
有没有在 iPad 或 iPhone 应用程序中使用 Facebook 连接。 这个想法是登录这个应用程序,然后能够看到我的哪些 facebook 用户也在使用该应用程序及其功能。 最佳答案 是的。
我在连接或打印字符串时遇到了一个奇怪的问题。我有一个 char * ,可以将其设置为字符串文字的几个值之一。 char *myStrLiteral = NULL; ... if(blah) myS
对于以下数据 - let $x := "Yahooooo !!!! Select one number - " let $y := 1 2 3 4 5 6 7 我想得到
我正在看 UDEMY for perl 的培训视频,但是视频不清晰,看起来有错误。 培训展示了如何使用以下示例连接 2 个字符串: #!usr/bin/perl print $str = "Hi";
我是一名优秀的程序员,十分优秀!