php - pg_query() - “无法将连接设置为阻塞模式(错误号 8)

Question

我们的应用程序使用 COPY 将数据从 CSV 文件插入到 Redshift询问。它上传c。 c 总共 700 GB。 11000 个文件。每个文件映射到一个数据库表。我们运行 SELECT COUNT(*) FROM <table>在每个 COPY 之前和之后用于日志记录和完整性检查。

一段时间后(似乎有所不同)调用pg_query()返回此 E_NOTICE PHP 错误:

pg_query() - "Cannot set connection to blocking mode (Error No. 8)

这是为 SELECT COUNT(*) FROM <table> 返回的询问;我们的应用程序将所有 PHP 错误传播到异常。除了 E_NOTICE 之外，删除此传播还会给我们此错误消息以上两个 SELECT和 COPY :

Failed to run query: server closed the connection unexpectedly
    This probably means the server terminated abnormally

COPY查询绝对不会实际插入文件。

一旦出现，每次尝试插入文件时都会发生此错误。它似乎无法自行解决。

我们最初在脚本的开头打开了一个数据库连接(使用 pg_connect() 打开)，并为所有后续的 SELECT 重新使用它s 和 COPY秒。当我们得到 E_NOTICE上面我们然后尝试 - 就像一个实验一样 - 为每个查询打开一个新连接。这没有任何改变。

我们当前在 PHP ini 文件中的 pgsql 设置是:

pgsql.allow_persistent = Off
pgsql.auto_reset_persistent = Off
pgsql.max_persistent = -1
pgsql.max_links = -1
pgsql.ignore_notice = 0
pgsql.log_notice = 0

可能导致此错误的原因是什么？如何解决？

更新 - 请参阅随附的屏幕。似乎我们只有默认查询队列，“并发”设置为 5，超时设置为 0 毫秒？

此外:我们仅在应用程序运行时连接这些数据库用户(带有“username_removed”的用户是我们的应用程序创建的唯一用户):

main=# select * from stv_sessions;
       starttime        | process |                     user_name                      |                      db_name
------------------------+---------+----------------------------------------------------+----------------------------------------------------
 2017-03-24 10:07:49.50 |   18263 | rdsdb                                              | dev
 2017-03-24 10:08:41.50 |   18692 | rdsdb                                              | dev
 2017-03-30 10:34:49.50 |   21197 | <username_removed>                              | main
 2017-03-24 10:09:39.50 |   18985 | rdsdb                                              | dev
 2017-03-30 10:36:40.50 |   21605 | root                                               | main
 2017-03-30 10:52:13.50 |   23516 | rdsdb                                              | dev
 2017-03-30 10:56:10.50 |   23886 | root                                               | main

Answer 1

您是否尝试过将 pg_connect 更改为 pg_pconnect？这将重用现有连接并减少与数据库的连接，服务器将平稳运行。

我想说的是永远不要使用 * 进行计数。您正在强制数据库为每个寄存器创建一个散列并对其进行计数。使用一些唯一的值。如果没有，请考虑创建一个序列并在“auto_increment”字段中使用它。我看到您处理大量文件，任何性能改进都将有助于您的工作

您还可以检查您的阻塞模式配置。

我在网上搜索到这个，可能对你有用。“将 pgsql.auto_reset_persistent = Off 更改为 On 并重新启动 Apache，这解决了错误。”

我最后的建议是关于交易，如果你正在使用交易，你可以设置你的计数选择忽略锁定的行，这将使你的计数运行得更快。

https://www.postgresql.org/docs/9.5/static/explicit-locking.html#LOCKING-ROWS