python - psycopg2.errors.ConnectionFailure : SSL SYSCALL error: EOF detected

Question

我有一个 Jenkins 作业(每 3 小时运行一次)，它将数据从远程服务器移植到我的数据仓库，通常需要大约 2 小时才能完成，最近我遇到了以下错误。

Jenkins 作业通过 SSH 连接远程服务器并通过 Python 脚本 (sql_runner_procedure) 调用 PostgreSQL 过程 (load_foreign_schema_postgresql)。

我已经创建了另一个 Jenkins 作业(每 2 分钟运行一次)来移植一个特定的表，因为我们希望该表非常频繁地更新，所以对该作业的调用也是相同的，上面的作业连续运行了几次并且在某些计划中因上述错误而失败，所以任何人都可以帮助我弄清楚为什么会发生这种情况以及我该如何解决？

错误:

+ python -u sql_runner_procedure.py /home/etl/bi/datawrapper/data_loader.sql
##################Executing############################## 

CALL load_foreign_schema_postgresql('odoo_server', 'public', 'dl', 'ft', log_table_schema_name := 'log',
                                    log_table_name := 'fr_table'
--     ,recreate_indices := FALSE
    );
Traceback (most recent call last):
  File "sql_runner_procedure.py", line 23, in <module>
    pg_cur.execute(sql)
psycopg2.errors.ConnectionFailure: SSL SYSCALL error: EOF detected
CONTEXT:  remote SQL command: START TRANSACTION ISOLATION LEVEL REPEATABLE READ
SQL statement "CREATE TABLE dl.account_account_type AS
                    SELECT *
                    FROM ft.account_account_type;"
PL/pgSQL function load_foreign_schema_postgresql(text,text,text,text,boolean,boolean,text,text) line 151 at EXECUTE

Process leaked file descriptors. See https://jenkins.io/redirect/troubleshooting/process-leaked-file-descriptors for more information
Build step 'Execute shell' marked build as failure
Finished: FAILURE

我正在运行 Jenkins Job，里面的构建脚本是这样的，

First connect the server with SSH then,

        export PYTHONPATH=/home/etl/bi/
        cd /home/etl/bi/
            python -u sql_runner_procedure.py /home/etl/bi/datawrapper/data_loader.sql

        kill $(ps -ef | grep [m]ysql_tunnel | awk '{print $2}')

Answer 1

主要是根据描述，我猜这一定是由于作业重叠。你应该检查作业是否使用相同的端口运行，如果你正在使用端口转发。你应该更改端口或创建一个时间表这些工作不会重叠。