- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
问题:
SELECT new_filename
FROM tmp2_import_lightnings_filenames
WHERE new_filename
NOT IN (SELECT filename FROM service.import_lightnings_filenames LIMIT 64500)
LIMIT 1;
执行时间:62 毫秒。
SELECT new_filename
FROM tmp2_import_lightnings_filenames
WHERE new_filename
NOT IN (SELECT filename FROM service.import_lightnings_filenames LIMIT 65000)
LIMIT 1;
执行时间:4.742 秒。
(所有LIMITS仅供测试)
巨大的滞后!而且呈指数增长。
表格:
CREATE TABLE public.tmp2_import_lightnings_filenames (
new_filename VARCHAR(63) NOT NULL,
CONSTRAINT tmp2_import_lightnings_filenames_pkey PRIMARY KEY(new_filename)
) WITHOUT OIDS;
表格大小:7304 个字符串
数据示例:/xml/2012-07-13/01/01-24.xml
CREATE TABLE service.import_lightnings_filenames (
id SERIAL,
filename VARCHAR(63) NOT NULL,
imported BOOLEAN DEFAULT false,
strokes_num INTEGER,
CONSTRAINT import_lightnings_filenames_pkey PRIMARY KEY(id)
) WITHOUT OIDS;
CREATE UNIQUE INDEX import_lightnings_filenames_idx
ON service.import_lightnings_filenames
USING btree (filename COLLATE pg_catalog."default");
表格大小:70812个字符串
数据示例:44;/xml/2012-05-26/12/12-18.xml;TRUE;NULL
查询计划:
Limit (cost=0.00..2108.11 rows=1 width=29) (actual time=240.183..240.183 rows=1 loops=1)
Buffers: shared hit=539, temp written=307
-> Seq Scan on tmp2_import_lightnings_filenames (cost=0.00..7698823.12 rows=3652 width=29) (actual time=240.181..240.181 rows=1 loops=1)
Filter: (NOT (SubPlan 1))
Buffers: shared hit=539, temp written=307
SubPlan 1
-> Materialize (cost=0.00..1946.82 rows=64500 width=29) (actual time=0.009..198.313 rows=64500 loops=1)
Buffers: shared hit=538, temp written=307
-> Limit (cost=0.00..1183.32 rows=64500 width=29) (actual time=0.005..113.196 rows=64500 loops=1)
Buffers: shared hit=538
-> Seq Scan on import_lightnings_filenames (cost=0.00..1299.12 rows=70812 width=29) (actual time=0.004..42.418 rows=64500 loops=1)
Buffers: shared hit=538
Total runtime: 240.982 ms
Limit (cost=0.00..2125.03 rows=1 width=29) (actual time=30734.619..30734.619 rows=1 loops=1)
Buffers: shared hit=547, temp read=112258 written=669
-> Seq Scan on tmp2_import_lightnings_filenames (cost=0.00..7760626.00 rows=3652 width=29) (actual time=30734.617..30734.617 rows=1 loops=1)
Filter: (NOT (SubPlan 1))
Buffers: shared hit=547, temp read=112258 written=669
SubPlan 1
-> Materialize (cost=0.00..1962.49 rows=65000 width=29) (actual time=0.798..42.306 rows=64820 loops=363)
Buffers: shared hit=543, temp read=112258 written=669
-> Limit (cost=0.00..1192.49 rows=65000 width=29) (actual time=0.005..116.110 rows=65000 loops=1)
Buffers: shared hit=543
-> Seq Scan on import_lightnings_filenames (cost=0.00..1299.12 rows=70812 width=29) (actual time=0.003..43.804 rows=65000 loops=1)
Buffers: shared hit=543
Total runtime: 30735.267 ms
我做错了什么?
最佳答案
性能下降的原因似乎是您用完了 work_mem
materialize
步骤开始换出到磁盘。我在这里引用手册:
work_mem (integer)
[...] Hash tables are used in hash joins, hash-based aggregation, and hash-based processing of IN subqueries.
强调我的。通过提高 work_mem
的设置并再次运行您的查询来验证这一点。作为评论中提供的@a_horse,通过调用为当前 session 设置它:
set work_mem = '64MB';
你不需要你的系统管理员。您可以在 session 中重置为默认值:
reset work_mem;
设置将随着 session 结束而消失。更改 postgresql.conf
中的设置(并重新加载)以获得永久效果。
许多 PostgreSQL 软件包都带有非常保守的设置(默认 1MB)。这在很大程度上取决于您的工作负载,但一般来说,在 4 GB 或更大内存的机器上 16 MB 将是最小值。我在具有 12 GB RAM 的专用数据库服务器上使用 64 MB - 只有几个并发用户。
您可能需要对设置进行一些常规调整。这是 general performance optimization in the PostgreSQL Wiki 的指针列表.您还可以在链接后找到有关 work_mem
调整的更多信息。
除此之外,重写您的查询也可能会加快速度。 IN
具有大列表的子查询往往是 PostgreSQL 中最慢的选择。
SELECT new_filename
FROM tmp2_import_lightnings_filenames t
LEFT JOIN (
SELECT filename
FROM service.import_lightnings_filenames
LIMIT 65000
) x ON t.new_filename = x.filename
WHERE x.filename IS NULL;
更快,尤其是在 service.import_lightnings_filenames
中有重复:
SELECT new_filename
FROM tmp2_import_lightnings_filenames t
WHERE NOT EXISTS (
SELECT 1
FROM (
SELECT filename
FROM service.import_lightnings_filenames
LIMIT 65000
) x
WHERE t.new_filename = x.filename
);
与 CTE 相同(可能不会更快,但更易于阅读):
WITH x AS (
SELECT filename
FROM service.import_lightnings_filenames
LIMIT 65000
)
SELECT new_filename
FROM tmp2_import_lightnings_filenames t
WHERE NOT EXISTS (
SELECT 1
FROM x
WHERE t.new_filename = x.filename
);
关于sql - SELECT .. WHERE NOT IN (SELECT ..) with strings 的性能急剧下降,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11545707/
如果您想使用 String.Concat() 连接 5 个或更多字符串,则它会使用 Concat(String[])。 为什么不一直使用 Concat(String[]) 而不再需要 Concat(S
今天在使用 String 时,我遇到了一种我以前不知道的行为。我无法理解内部发生的事情。 public String returnVal(){ return "5";
似乎在我所看到的任何地方,都有一些过时的版本,这些版本不再起作用。 我的问题似乎很简单。我有一个Java类,它映射到derby数据库。我正在使用注释,并且已经成功地在数据库中创建了所有其他表,但是在这
一、string::size_type() 在C++标准库类型 string ,在调用size函数求解string 对象时,返回值为size_type类型,一种类似于unsigned类型的int 数据
我正在尝试将数据保存到我的 plist 文件中,其中包含字符串数组的定义。我的plist - enter image description here 我将数据写入 plist 的代码是 -- let
我有一个带有键/值对的 JavaScript 对象,其中值是字符串数组: var errors = { "Message": ["Error #1", "Error #2"], "Em
例如,为了使用相同的函数迭代 List 和 List> ,我可以编写如下内容: import java.util.*; public class Test{ public static voi
第一个Dictionary就像 Dictionary ParentDict = new Dictionary(); ParentDict.Add("A_1", "1")
这是我的 jsp 文件: 我遇到了错误 The method replace(String, String, String) in the type Functions is not appl
我需要一些帮助。我有一个方法应该输出一个包含列表内容的 txt 文件(每行中的每个项目)。列表项是字符串数组。问题是,当我调用 string.Join 时,它返回文字字符串 "System.Strin
一位同事告诉我,使用以下方法: string url = "SomeURL"; string ext = "SomeExt"; string sub = "SomeSub"; string s
给定类: public class CategoryValuePair { String category; String value; } 还有一个方法: public
我正在尝试合并 Stream>>对象与所有 Streams 中的键一起映射到单个映射中. 例如, final Map someObject; final List>> list = someObjec
在这里使用 IDictionary 的值(value)是什么? 最佳答案 使用接口(interface)的值(value)始终相同:切换到另一个后端实现时,您不必更改客户端代码。 请考虑稍后分析您的代
我可以知道这两个字典声明之间的区别吗? var places = [String: String]() var places = [Dictionary()] 为什么当我尝试以这种方式附加声明时,只有
在 .NET 4.0 及更高版本中存在 string.IsNullOrWhiteSpace(string) 时,在检查字符串时使用 string.IsNullOrEmpty(string) 是否被视为
这个名字背后的原因是什么? SS64在 PowerShell 中解释此处的字符串如下: A here string is a single-quoted or double-quoted string
我打算离开 this 文章,尝试编写一个接受字符串和 &str 的函数,但我遇到了问题。我有以下功能: pub fn new(t_num: S) -> BigNum where S: Into {
我有一个结构为 [String: [String: String]] 的多维数组。我可以使用 for 循环到达 [String: String] 位,但我不知道如何访问主键(这个位 [String:
我正在尝试使用 sarama(管理员模式)创建主题。没有 ConfigEntries 工作正常。但我需要定义一些配置。 我设置了主题配置(这里发生了错误): tConfigs := map[s
我是一名优秀的程序员,十分优秀!