- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
注意:Oracle 11gR2 标准版(所以没有分区)
所以我必须构建一个流程来根据包含大约 2700 万条记录的表构建报告。我面临的困境是我无法从此表创建自己的索引,因为它是我们无法更改的第 3 方表。因此,我开始尝试使用物化 View ,然后我可以在其中创建自己的索引,或者创建一个基本上只是复制品的物理表,我会根据需要截断和重新填充。
MAT View 的优点是它基本上是从“实时”表中提取的,因此只要在使用前刷新它,我就不必担心差异,问题是刷新似乎需要很长时间多少时间。然后我决定尝试物理表方法,我尝试截断和重新填充(大约 10 分钟),然后重建索引(这又需要 10,给或拿)....我也尝试只更新"new"记录通过执行:
INSERT... SELECT where NOT Exists (Select 1 from Table where PK = PK)
无论我的索引、并行度等如何,这几乎需要 10 分钟......
有没有人必须处理如此大量的数据(这些数据会不断增长)并找到一种性能良好且工作高效的方法?
似乎 View 不会做....所以我只剩下这两个选项,因为我无法调整我的主表上的索引,所以任何提示建议将不胜感激...的全部目的这个过程是为了让报告“更快”,但不知何故,我在某些领域获得了性能,但考虑到我需要移动的数据量,我最终在其他领域失去了。除了以下之外还有其他选择吗:
提前感谢您的任何建议......
有谁知道如果我在第二个选项上执行插入时呈现我的索引等不可用,那么执行“Create Table As Select...”是否比“Insert...Select”执行得更好,或者它应该是公平的相似?
最佳答案
我认为对于此类任务的非常简单的方法有很多值得一提的地方。考虑在不禁用/重建索引的情况下在重复表上进行截断和直接路径(追加)插入,并在表上设置 NOLOGGING。直接路径插入有一个与之关联的索引维护机制,它可能比在加载后运行多个索引重建更有效,因为它在临时段中记录构建索引所需的数据,从而避免随后的多次全表扫描。
如果您确实想尝试索引禁用/重建,那么尝试在没有查询并行性的情况下同时重建所有索引,因为将只使用一次物理完整扫描——其余扫描将是“寄生的”他们将从内存中读取表 block 。
当您加载重复表时,请考虑对选择中的行进行排序,以便报告中常用的谓词能够访问更少的 block 。例如,如果您通常查询日期范围,则按日期列排序。请记住,构建此报表所花费的额外时间可以通过减少报表查询执行时间来恢复。
也可以考虑压缩表格,但前提是您使用直接路径插入加载,除非您有昂贵的 Advanced Compression 选项。索引压缩和位图索引也值得考虑。
另外,考虑不分析报表。报告查询通常使用多个谓词,而这些谓词使用传统统计数据无法很好地估计,而且您无论如何都必须依靠动态抽样来进行良好的基数估计。
关于database - Oracle 物化 View VS 物理表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11541368/
根据oracle文档,我们不能使用快速刷新方法来刷新聚合物化 View 。我在Oracle文档中找到了这个例子: http://docs.oracle.com/cd/B19306_01/server.
我一直在学习物化 View 以及它们的用途/用途。 但是我没有发现它有什么用处,因为它不包含当前数据,因为它需要时间来刷新/更新。还要查看现实生活中的场景,它用于 a.) 减轻网络负载和 b.) 根据
我在我自己的模式中有物化 View ,物化 View 源是另一个模式表,但是,这个主表有 900 行,我在这个主表上做了一些 dml 操作之后我将刷新这个物化 View ,正如你所知,我做了一些研
我一直在研究使用物化 View 为主要以事务为中心的公司(使用 Oracle 数据库)进行数据聚合和报告目的。当前的报告系统依赖于一系列 View ,这些 View 掩盖了应用程序的许多复杂数据逻辑。
我有一个巨大的 materailized View ,我必须调整。这是一个简单的调整,因为我只是在 select 语句中添加了一个 NVL 函数。 IE。原来的... Select this,
我们有一张 table TB_1它具有按月和周列划分的月度和周数据。我们也有物化 View MV_1继承自表TB_1 . 我们希望每周或每月刷新实体化 View 。 不确定我们如何从物化日志中捕获的所
想知道 mv 对基表的影响。它会减慢基表的速度吗?它什么时候开始写入 mv,就像同时写入基表和 mv 一样? 如果我有 local_quorum 的 CL 且 RF=3,客户端是否必须等到写入 mv
物化 View 中强制刷新和完全刷新有什么区别 CREATE MATERIALIZED VIEW MV1 REFRESH FORCE ON DEMAND AS SELECT * FROM T1; CR
我目前访问了一系列 View 和具体化 View 。物化由第三方维护,该第三方几乎不提供有关物化频率和成功的信息。最近,物化 View 无法刷新,我已经发送了许多报告,其中包含不正确/延迟的数据。 目
我有一个 Oracle DB,其物化 View 是从另一个 Oracle DB 填充的,并使用 DBMS_REFRESH.REFRESH() 每 2 分钟刷新一次。 我刚刚注意到我有一个同名的表。 此
在过去的几个小时里,我已经阅读了很多有关在 Oracle 中刷新 MV 的内容,但我仍然找不到问题的答案。想象一下,我在带有更改日志的表顶部有一个 MV View 。那么这个MV中有3条记录: COL
物化 View 中强制刷新和完全刷新有什么区别 CREATE MATERIALIZED VIEW MV1 REFRESH FORCE ON DEMAND AS SELECT * FROM T1; CR
Oracle物化 View 可以用来连接多个具有外键的相关表来创建一个更大的非规范化大表并立即刷新吗? 关于一些investigations ,它说使用快速刷新时不允许连接。 我可以使用 Oracle
到目前为止,我有一个表(在 Oracle 12c 中)有 2200 万条记录,加上每天插入 10,000 条记录。我们需要基于此表的计数,例如: select col1, col2, count(*)
我希望在任何特定表发生任何更改时触发特定查询并更新表。示例:表“A”更新了一些记录。现在,我想获取一些指定的列,并根据查询将表“A”中的一些记录插入到表“B”中。基本上,每当表“A”发生任何类型的更改
我有一个问题,我创建了一个完美工作的物化 View 。但是现在我需要对我 View 中的数据进行一些计算。该 View 包含在不同项目中工作的员工的工作时间。每个项目都有固定的时间 (time_ava
我在下面创建了 Oracle 物化 View : CREATE MATERIALIZED VIEW MyMV REFRESH COMPLETE ON DEMAND AS SELECT t1.* F
我在使用 Oracle DB 时遇到问题 - 在物化 View 上通过 CONTAINS() 搜索后,域索引返回零行。我看到物化 View 充满了数据,我还使用过程 ctx_ddl.sync_inde
我有一个简单的查询: select * from tags where tags.taggable_type = 'Skill'; 大致需要: Seq Scan on tags (cost=0.00
关闭。这个问题是opinion-based .它目前不接受答案。 想要改进这个问题? 更新问题,以便 editing this post 可以用事实和引用来回答它. 关闭 7 年前。 Improve
我是一名优秀的程序员,十分优秀!