gpt4 book ai didi

mysql - 在 Python 3 中通过 SQLAlchemy 缓慢插入 Cloud SQL

转载 作者:行者123 更新时间:2023-11-29 15:33:04 26 4
gpt4 key购买 nike

我遇到了一个奇怪的问题,我将大约 5k 条记录发布到本地主机 MySQL 数据库,然后发布到 CloudSQL 实例。本地主机插入大约需要 5 秒,而 CloudSQL 大约需要 5 分钟,看起来我的出站流量约为 12kbps(而且我的互联网速度相当快)。

我尝试使用 mysqldb 和 mysql 连接器设置连接:

alchemy_connection = 'mysql+mysqldb://
alchemy_connection = 'mysql+mysqlconnector://

似乎都没有提高速度。

需要注意的一件事 - 我正在通过白名单 IP 连接到数据库,使用服务器分配的 IP 地址...

要注意的第二件事:)是我正在使用 sqlalchemy 的bulkinsert 语句。

对于可能导致此问题的原因有什么想法吗?

最佳答案

不幸的是,我找不到解决这个问题的好方法,而且其他一些人似乎也遇到了同样的问题。

为了避免缓慢插入,我最终将列表拆分为 N 个列表。然后启动 N 个线程(同时,通过线程 + 队列)来将消息发布到 CloudSQL。

这将发布速度提高了 N,但也增加了一定程度的复杂性和故障点。

祝大家好运!

关于mysql - 在 Python 3 中通过 SQLAlchemy 缓慢插入 Cloud SQL,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58532315/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com