c - pgbouncer-rr 查询重写失败

Question

我正在使用 pgbouncer-rr 在 redshift 集群中进行查询重写(pgbouncer 调用 rewrite_query.py 进行重写，这里是有关此项目的更多信息的链接 - https://github.com/awslabs/pgbouncer-rr-patch )。 pgbouncer-rr基于pgbouncer，其代码合并到pgbouncer中并启动。我一直在成功地使用它来重写查询，但是当我尝试将插入语句转换为卸载到外部表时遇到问题。

执行流程为pgbouncer -> rewrite.c -> pycall.c -> rewrite_query.py

在 python 模块中，我编写了原始数据和转换后的 sql，这是它在日志中的样子 - 因此 python 模块能够毫无问题地进行转换。

06:03:35AM on January 31, 2019 ---- INSERT INTO nm1(c1) select c1 from t
06:03:35AM on January 31, 2019 ---- CONVERTED TO:
06:03:35AM on January 31, 2019 ---- unload (' SELECT c1 FROM t' ) to 's3://mybucket/nm1/' iam_role 'arn:aws:iam::99999:role/RedshiftDefaultRole,arn:aws:iam::99999:role/RedshiftWriteAccess' ALLOWOVERWRITE ; insert into schema1.nm1_decoy select (1) from x.nm1;

但是当您看到 pgbouncer 日志时，查询返回不变。

2019-01-31 06:28:20.980 989 NOISE C-0x22ebe60: dev/dbuser@10.10.10.10:57222 pkt='Q' len=42
2019-01-31 06:28:20.980 989 DEBUG C-0x22ebe60: dev/dbuser@10.10.10.10:57222 rewrite_query: Username => dbuser
2019-01-31 06:28:20.980 989 DEBUG C-0x22ebe60: dev/dbuser@10.10.10.10:57222 rewrite_query: Orig Query=> INSERT INTO nm1(c1) select c1 from t
2019-01-31 06:28:21.011 989 WARNING C-0x22ebe60: dev/dbuser@10.10.10.10:57222 pValue right after the call PyString_AsString(pValue): unload (' SELECT c1 FROM t' ) to 's3:
//mybucket/nm1/' iam_role 'arn:aws:iam::99999:role/RedshiftDefaultRole,arn:aws:iam::99999:role/RedshiftWriteAccess' ALLOWOVERWRITE ; insert into schema1.nm1_decoy select (1) from crm_unload.nm1;
2019-01-31 06:28:21.011 989 WARNING C-0x22ebe60: dev/dbuser@10.10.10.10:57222 Result after PyString_AsString(pValue) and in else NULL condition: (null)
2019-01-31 06:28:21.011 989 DEBUG C-0x22ebe60: dev/dbuser@10.10.10.10:57222 query unchanged

这里是代码pgbouncer/src/pycall.c，它调用rewrite_query.py模块进行转换。我不了解 C 数据结构以及它如何与 python 交互，只是将日志 slog_error 语句用于调试目的。看起来由于某种原因它进入了 PyString_Check(pValue) 检查的 else 条件。当 pValue 是字符串时，为什么检查失败？因此，基本上，在 if PyString_Check(pValue) 检查失败后，它不会返回卸载查询，而是返回插入语句。

pValue = PyObject_CallObject(pFunc, pArgs);
        slog_warning(client,"pValue right after the call PyString_AsString(pValue): %s", PyString_AsString(pValue));
        if (pValue == NULL) {
                slog_error(client, "Python Function <%s> failed to return a value",
                                py_function);
                goto finish;
        }
        if (PyString_Check(pValue)) {
                slog_warning(client,"PyStringCheck succeeded on rewrite query return value pValue.");
                res = strdup(PyString_AsString(pValue));
                slog_warning(client,"Result after PyString_AsString(pValue) and strdup() call: %s",res);
        } else {
                res = NULL;
                slog_warning(client,"Result after PyString_AsString(pValue) and in else NULL condition: %s",res);
        }

Answer 1

这是由于 python 对象类型从 str 更改为 Unicode。我正在使用 sqlparse do 进行解析，该模块将变量转换为 unicode，但 PyString_Check 检查失败。为了解决这个问题，在调用sqlparse之后，我将变量的编码转换为python中的ascii(版本是2.7.15) - varname.encode("ascii")