java - 是否有可能解决 PostgreSQL 32760 绑定(bind)参数限制？

Question

我的存储库中有一个 JPA 方法试图查找带有 where 子句的实体。问题是我有庞大的数据集，当我尝试在列表子句中发送超过 32k 的元素时，我收到一个错误。我发现这是 PostgreSQL 驱动程序的限制，但我找不到解决方法。

我尝试了 Pageable 请求，但很难只发送 30k 的 800 万条记录。是否有可能在我的 in 列表 where 子句中发送超过 30k 的对象？

List<Object> findAllByIdIn(List<Long> ids)

Answer 1

不，您不想这样做，尤其是当您计划发送 800 万个标识符时。绕过 IN 语句或绑定(bind)参数限制是低效的。请考虑以下事项:

1. 数以千计的绑定(bind)参数将产生数兆字节的 SQL。将 SQL 文本发送到数据库需要相当长的时间。事实上，数据库读取 SQL 文本可能比根据 Tom's answer to "Limit and conversion very long IN list: WHERE x IN ( ,,, ...)" question 执行查询花费更长的时间。 .

2. SQL 解析效率低下。不仅数兆字节的 SQL 文本需要时间来阅读，而且随着绑定(bind)参数数量的增加，每个查询通常会使用不同数量的绑定(bind)参数。这种不同的绑定(bind)参数计数将导致每个查询被单独解析和规划(参见 this article which explains it )。

3. SQL 语句中的绑定(bind)参数有一个硬性限制。你刚发现它，32760。

对于这些类型的查询，通常最好创建 temporary tables .在查询之前创建一个新的临时表，将所有标识符插入其中并将其与实体表连接起来。此联接将等效于 IN 条件，但 SQL 文本会很短。

重要的是要了解这 800 万个标识符是从哪里加载的。如果您在上一个查询中从数据库中提取这些只是为了将它们传递回下一个查询，您很可能想要编写一个存储过程。您当前的方法可能存在缺陷，JPA 并不总是适合这项工作的工具。