- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个必须使用 pl/pgsql 进行一系列查询的过程:
--process:
SELECT function1();
SELECT function2();
SELECT function3();
SELECT function4();
为了能够在一次调用中执行所有操作,我创建了一个流程函数:
CREATE OR REPLACE FUNCTION process()
RETURNS text AS
$BODY$
BEGIN
PERFORM function1();
PERFORM function2();
PERFORM function3();
PERFORM function4();
RETURN 'process ended';
END;
$BODY$
LANGUAGE plpgsql
问题是,当我将每个函数本身花费的时间加起来时,总计为 200 秒,而函数 process()
花费的时间超过一个小时!
也许是内存问题,但我不知道应该更改 postgresql.conf
上的哪个配置。
数据库在 Debian 8 中的 PostgreSQL 9.4 上运行。
最佳答案
您评论说这 4 个函数必须连续 运行。因此,可以安全地假设每个函数都处理表中已被前一个函数修改的数据。这是我的主要嫌疑人。
任何 Postgres 函数都在外部上下文的事务中运行。因此,如果打包到另一个函数中,所有函数都共享相同的事务上下文。显然,每个人都可以看到以前功能对数据的影响。 (尽管效果对其他并发事务仍然不可见。)但统计数据不会立即更新。
查询计划基于 statistics在涉及的对象上。 PL/pgSQL 在实际执行之前不会计划语句,这对您有利。 Per documentation:
As each expression and SQL command is first executed in the function,the PL/pgSQL interpreter parses and analyzes the command to create aprepared statement, using the SPI manager's SPI_prepare function.
PL/pgSQL 可以缓存查询计划,但只能在同一 session 中并且(在 pg 9.2 中+ 至少)只有在几次执行表明相同的查询计划重复运行效果最好之后。如果您怀疑这对您来说是错误的,您可以使用动态 SQL 解决它,它每次都会强制执行一个新计划:
EXECUTE 'SELECT function1()';
但是,我看到的最有可能的候选对象是导致劣质查询计划的无效统计信息。 SELECT
/PERFORM
函数内的语句(相同的东西)快速连续运行,没有机会 autovacuum启动并更新一个函数与下一个函数之间的统计数据。如果一个函数大量改变了下一个函数正在处理的表中的数据,则下一个函数可能会根据过时的信息制定查询计划。典型示例:一个只有几行的表填满了数千行,但下一个计划仍然认为顺序扫描对于“小”表是最快的。你声明:
when I sum the time that each function takes by itself, the total is200 seconds, while the time that the function process() takes is morethan one hour!
“本身”是什么意思?究竟是什么意思?您是在单个事务中还是在单个事务中运行它们?也许中间有一段时间?这将允许 autovacuum 更新统计信息(通常相当快)并可能导致基于更改后的统计信息的完全不同的查询计划。
您可以使用 auto-explain 检查内部 plpgsql 函数的查询计划
如果您可以识别此类问题,则可以在语句之间强制使用 ANALYZE
。就此而言,对于几个 SELECT
/PERFORM
语句,您还不如使用更简单的 SQL 函数 并完全避免计划缓存(但是见下文!):
CREATE OR REPLACE FUNCTION process()
RETURNS text
LANGUAGE sql AS
$func$
SELECT function1();
ANALYZE some_substantially_affected_table;
SELECT function2();
SELECT function3();
ANALYZE some_other_table;
SELECT function4();
SELECT 'process ended'; -- only last result is returned
$func$;
此外,只要我们看不到您所调用函数的实际代码,就可能存在任意数量的其他隐藏效果。
示例:您可以SET LOCAL ...
一些配置参数来提高function1()
的性能。如果在单独的事务中调用,则不会影响其余部分。效果只持续到交易结束。但是,如果在单个事务中调用它,它也会影响其余部分......
基础知识:
另外:事务会累积锁,这会绑定(bind)越来越多的资源,并可能导致与并发进程的摩擦增加。所有锁都在事务结束时释放。最好在尽可能单独的事务 中运行大型函数,而不是将其封装在单个函数(以及事务)中。最后一项与什么有关 @klin和 IMSoP已经涵盖了。
关于postgresql - 在不损失性能的情况下同时执行多个功能,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30351256/
我是pytorch的新手。请问添加'loss.item()'有什么区别?以下2部分代码: for epoch in range(epochs): trainingloss =0 for
我有一个包含 4 列的 MySQL 表,如下所示。 TransactionID | Item | Amount | Date ------------------------------------
我目前正在使用 cocos2d、Box2D 和 Objective-C 为 iPad 和 iPhone 制作游戏。 每次更新都会发生很多事情,很多事情必须解决。 我最近将我的很多代码重构为几个小方法,
我一直在关注 Mixed Precision Guide .因此,我正在设置: keras.mixed_precision.set_global_policy(mixed_precision) 像这样
double lnumber = Math.pow(2, 1000); 打印 1.0715086071862673E301 我尝试过的事情 我尝试使用 BigDecimal 类来扩展这个数字: St
我正在尝试创建一个神经网络来近似函数(正弦、余弦、自定义...),但我在格式上遇到困难,我不想使用输入标签,而是使用输入输出。我该如何更改它? 我正在关注this tutorial import te
我有一个具有 260,000 行和 35 列的“单热编码”(全一和零)数据矩阵。我正在使用 Keras 训练一个简单的神经网络来预测一个连续变量。制作网络的代码如下: model = Sequenti
什么是像素级 softmax 损失?在我的理解中,这只是一个交叉熵损失,但我没有找到公式。有人能帮我吗?最好有pytorch代码。 最佳答案 您可以阅读 here所有相关内容(那里还有一个指向源代码的
我正在训练一个 CNN 架构来使用 PyTorch 解决回归问题,其中我的输出是一个 20 个值的张量。我计划使用 RMSE 作为模型的损失函数,并尝试使用 PyTorch 的 nn.MSELoss(
在每个时代结束时,我得到例如以下输出: Epoch 1/25 2018-08-06 14:54:12.555511: 2/2 [==============================] - 86
我正在使用 Keras 2.0.2 功能 API (Tensorflow 1.0.1) 来实现一个网络,该网络接受多个输入并产生两个输出 a 和 b。我需要使用 cosine_proximity 损失
我正在尝试设置很少层的神经网络,这将解决简单的回归问题,这应该是f(x) = 0,1x 或 f(x) = 10x 所有代码如下所示(数据生成和神经网络) 4 个带有 ReLu 的全连接层 损失函数 R
我正在研究在 PyTorch 中使用带有梯度惩罚的 Wasserstein GAN,但始终得到大的、正的生成器损失,并且随着时间的推移而增加。 我从 Caogang's implementation
我正在尝试在 TensorFlow 中实现最大利润损失。这个想法是我有一些积极的例子,我对一些消极的例子进行了采样,并想计算类似的东西 其中 B 是我的批处理大小,N 是我要使用的负样本数。 我是 t
我正在尝试预测一个连续值(第一次使用神经网络)。我已经标准化了输入数据。我不明白为什么我会收到 loss: nan从第一个纪元开始的输出。 我阅读并尝试了以前对同一问题的回答中的许多建议,但没有一个对
我目前正在学习神经网络,并尝试训练 MLP 以使用 Python 中的反向传播来学习 XOR。该网络有两个隐藏层(使用 Sigmoid 激活)和一个输出层(也是 Sigmoid)。 网络(大约 20,
尝试在 keras 中自定义损失函数(平滑 L1 损失),如下所示 ValueError: Shape must be rank 0 but is rank 5 for 'cond/Switch' (
我试图在 tensorflow 中为门牌号图像创建一个卷积神经网络 http://ufldl.stanford.edu/housenumbers/ 当我运行我的代码时,我在第一步中得到了 nan 的成
我正在尝试使用我在 Keras 示例( https://github.com/keras-team/keras/blob/master/examples/variational_autoencoder
我试图了解 CTC 损失如何用于语音识别以及如何在 Keras 中实现它。 我认为我理解的内容(如果我错了,请纠正我!)总体而言,CTC 损失被添加到经典网络之上,以便逐个元素(对于文本或语音而言逐个
我是一名优秀的程序员,十分优秀!