- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用?
- database - RESTful URI 是否应该公开数据库主键?
我们有一个非常高并发的应用程序,其中一些要处理的键与它们的处理优先级一起不断地写入到 Oracle 11g 表中。该表上有一个来自序列的主键(ID 字段)。 KEY 字段有 UNIQUE 约束。
ID KEY PRIORITY
-------------------------
1 ABC 0
2 XYZ 5
3 AZW 0
...
100 CNS 7
上面的表格以非常高的速度被插入,比如说每分钟大约一万条记录。我们还有大约 100 个并行消费者,他们不断汇集上表寻找工作。一个这样的消费者一次只需要一个 key 来处理,但重要的是,不能有两个具有相同 key 的消费者同时发送给多个消费者。处理应该发生在PRIORITY
后跟 ID
顺序。
为了满足这一点,消费者最终调用了如下函数:
FUNCTION select_key RETURN VARCHAR2
IS
v_key VARCHAR2(64) := NULL;
CURSOR keys IS
SELECT key
FROM my_table
ORDER BY priority, id
FOR UPDATE SKIP LOCKED;
BEGIN
OPEN keys
LOOP
FETCH keys INTO v_key;
EXIT WHEN keys%NOTFOUND;
DELETE FROM my_table WHERE key = v_key;
EXIT WHEN SQL%ROWCOUNT > 0;
END LOOP;
CLOSE keys;
RETURN v_key;
END;
因为这个表被插入和删除的频率如此之高,所以那个表上的统计数据很快就变得陈旧了。上面SELECT的执行计划是全表扫描。这导致 key 选择过程花费的时间越来越长,并且随着时间的推移性能显着下降。
除此之外,因为 ORACLE 锁定在数据 block 级别而不是记录级别,我们遇到的处理并不是真正发生在 PRIORITY
后跟 ID
顺序中。这对我们来说并不是什么大问题,但仍然是我们希望避免的事情。
这种方法的另一个更大的问题是,您每次都针对一个表运行完整的 SQL,该表可以轻松地获取几万条记录,只是为了获取一个键。
我想到的第一个想法是为此使用一个真正的队列,并从中为我的并发消费者提供服务。然而,我最终在同步我的表和队列提要时遇到了各种问题,最终我放弃了这个想法。
任何关于我应该如何更好地解决这个问题的建议都将不胜感激。
提前谢谢你。
最佳答案
在 (PRIORITY, ID) 上创建索引,然后查询可以使用 INDEX FULL SCAN
按顺序读取数据,而不是扫描整个表。
示例表和数据
drop table my_table;
create table my_table
(
key varchar2(100) not null,
id number not null,
priority number not null,
constraint my_table_pk primary key (key)
);
insert into my_table
select level, level, level
from dual connect by level <= 100000;
begin
dbms_stats.gather_table_stats(user, 'MY_TABLE');
end;
/
带全表扫描的正常解释计划
explain plan for
select key
from my_table
order by priority, id;
select * from table(dbms_xplan.display);
Plan hash value: 3656711297
---------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes |TempSpc| Cost (%CPU)| Time |
---------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 100K| 1562K| | 637 (1)| 00:00:01 |
| 1 | SORT ORDER BY | | 100K| 1562K| 2760K| 637 (1)| 00:00:01 |
| 2 | TABLE ACCESS FULL| MY_TABLE | 100K| 1562K| | 103 (1)| 00:00:01 |
---------------------------------------------------------------------------------------
为更好的索引访问计划创建索引
成本一开始看起来并不好。但真正的版本应该快得多,因为它会很快停止处理。
create index my_table_idx on my_table(priority, id);
explain plan for
select key
from my_table
order by priority, id;
select * from table(dbms_xplan.display);
Plan hash value: 2209255802
--------------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
--------------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 100K| 1562K| 577 (1)| 00:00:01 |
| 1 | TABLE ACCESS BY INDEX ROWID| MY_TABLE | 100K| 1562K| 577 (1)| 00:00:01 |
| 2 | INDEX FULL SCAN | MY_TABLE_IDX | 100K| | 292 (1)| 00:00:01 |
--------------------------------------------------------------------------------------------
关于java - Oracle 表就像一个队列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33816750/
我遇到一种情况,我需要从某个主题读取(正在进行的)消息并将它们放入另一个 Queue 中。我怀疑我是否需要 jms Queue 或者我可以对内存中的 java Queue 感到满意。我将通过同一 jv
队列的定义 队列(Queue):先进先出的线性表 队列是仅在队尾进行插入和队头进行删除操作的线性表 队头(front):线性表的表头端,即可删除端 队尾(rear):线性表的表尾端,即可插入端 由于这
Redis专题-队列 首先,想一想 Redis 适合做消息队列吗? 1、消息队列的消息存取需求是什么?redis中的解决方案是什么? 无非就是下面这几点: 0、数据可以顺序读
0. 学习目标 栈和队列是在程序设计中常见的数据类型,从数据结构的角度来讲,栈和队列也是线性表,是操作受限的线性表,它们的基本操作是线性表操作的子集,但从数据类型的角度来讲,它们与线性表又有着巨大的不
我想在 redis + Flask 和 Python 中实现一个队列。我已经用 RQ 实现了这样的查询,如果你有 Flask 应用程序和任务在同一台服务器上工作,它就可以正常工作。我想知道是否有可能创
我正在使用 Laravel 5.1,我有一个大约需要 2 分钟来处理的任务,这个任务特别是生成报告...... 现在,很明显,我不能让用户在我接受用户输入的同一页面上等待 2 分钟,而是我应该在后台处
我正在使用 Azure 队列,并且有多个不同的进程从队列中读取数据。 我的系统的构建方式假设每条消息只读取一次。 这个Microsoft article声称 Azure 队列具有至少一次传送保证,这可
我正在创建一个Thread::Queue元素数组。 我这样做是这样的: for (my $i=0; $i new; } 但是,当我在每个队列中填充这样的元素时 $queues[$index]->enq
我试图了解如何将我的 Mercurial 补丁推送到远程存储库(例如 bitbucket.org),而不必先应用它们(实际上提交它们)。我的动机是在最终完成之前首先对我的工作进行远程备份,并且能够与其
我的本地计算机上有一个 Mercurial 队列补丁,我需要与同事共享该补丁,但我不想将其提交到上游存储库。有没有一种简单的方法可以打包该补丁并与他分享? 最佳答案 mq 将补丁作为不带扩展名的文
Java 中是否有任何类提供与 Queue 相同的功能,但有返回对象的选项,并且不要删除它,只需将其设置在集合末尾? 最佳答案 Queue不直接提供这样的方法。但是,您可以使用 poll 和 add
我在Windows上使用Tortoise svn客户端,我需要能够一次提交来自不同子文件夹的更改文件-一次提交。像在提交之前将文件添加到队列中之类的?我该怎么做? Windows上是否还有另一个svn
好吧,我正在尝试对我的 DSAQueue 类进行单元测试,它显示我的 isEmpty()、isFull() 和 dequeue() 方法失败。 以下是我的 DSAQueue 代码。我认为我的 Dequ
我想尽量减少对传入请求的数据库查询。它目前需要写入 6 个不同的表。在返回响应之前不需要完成处理。因此,我考虑了 laravel 队列,但我想知道我是否也可以摆脱写入队列/作业表所需的单独查询。我可以
我正在学习队列数据结构。我想用链表创建队列。我想编程输出:10 20程序输出:队列为空-1 队列为空-1 我哪里出错了? 代码如下: class Node { int x; Node next
“当工作人员有空时,他们会根据主题的优先级列表从等待请求池中进行选择。在时间 t 到达的所有请求都可以在时间 t 进行分配。如果两名工作人员同时有空,则安排优先权分配给最近的工作最早安排的人。如果仍然
我正在开发一个巨大的应用程序,它使用一些子菜单、模式窗口、提示等。 现在,我想知道在此类应用程序中处理 Esc 和单击外部事件的正确方法。 $(document).keyup(function(e)
所以 如果我有一个队列 a --> b --> NULL; 当我使用函数时 void duplicate(QueueNodePtr pHead, QueueNodePtr *pTail) 它会给 a
我正在尝试为键盘输入实现 FIFO 队列,但似乎无法让它工作。我可以让键盘输入显示在液晶显示屏上,但这就是我能做的。我认为代码应该读取键盘输入并将其插入队列,然后弹出键盘输入并将值读取到液晶屏幕上。有
我正在学习算法和 DS。如何在 JavaScript 中使用队列? 我知道你可以做这样的事情。 var stack = []; stack.push(2); // stack is now
我是一名优秀的程序员,十分优秀!