python - MySQL 连接器 python 35 大型查询资源暂时不可用？

Question

我正在尝试使用 MySQL 连接器作为 pymysql 的替代方案，因为它支持在一个查询中使用多个语句来进行一些我必须进行的更新 (Here is my other question related to that)，但是对于我发送非常大的选择的其他用例，它失败了声明。

我有一个动态生成的 Select 语句，它检索与传入的任何指定值匹配的所有行；例如 Select * from table where col_a in (val_1, val_2.... val_350,000)

我的选择语句总是出现同样的错误:

Exception in thread Thread-1:
Traceback (most recent call last):
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/mysql/connector/network.py", line 212, in send_compressed
    self.sock.sendall(zip_packet)
BlockingIOError: [Errno 35] Resource temporarily unavailable

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/threading.py", line 921, in _bootstrap_inner
    self.run()
  File "/Users/maldeiri/raw_data_processing/sql_retriever.py", line 22, in run
    self.mysql_cursor.execute(self.sql_statement)
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/mysql/connector/cursor.py", line 515, in execute
    self._handle_result(self._connection.cmd_query(stmt))
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/mysql/connector/connection.py", line 488, in cmd_query
    result = self._handle_result(self._send_cmd(ServerCmd.QUERY, query))
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/mysql/connector/connection.py", line 261, in _send_cmd
    packet_number)
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/mysql/connector/network.py", line 215, in send_compressed
    errno=2055, values=(self.get_address(), _strioerror(err)))
mysql.connector.errors.OperationalError: 2055: Lost connection to MySQL server at 'database_end_point:3306', system error: 35 Resource temporarily unavailable

无论我有 compress=True 还是 False，都会发生这种情况。我也不认为这是服务器端问题，因为我提到过完全相同的 Select 语句似乎与运行相同代码和机器的 pymysql 一起工作。

有什么办法可以解决这个问题吗？

Answer 1

不要构建那个可怕的 IN(...)，而是将值放入表中，每行一个。

然后对真实表执行JOIN 操作以获取所需的行。 (确保 col_a 在真实表中被索引；不要费心在额外表中对其进行索引。)

如果巨大的列表可能有重复项，您可能应该先删除列表中的重复项。看看 Python 是否可以轻松完成。如果没有，您可以将该单列作为 PRIMARY KEY 并在插入它们时执行 INSERT IGNORE。或者，

CREATE TABLE t (val) ENGINE=MyISAM;
INSERT or LOAD DATA ... (no dedupping)
SELECT rt.* FROM real_table
    JOIN ( SELECT DISTINCT val FROM t )  ON rt.val = t.val;