Python 多线程/处理在 MySQL 中插入不同表的增益？

Question

我一直在到处寻找这个问题的答案，但似乎找不到任何东西:

我对 MySQL 数据库进行了批量更新，每隔几分钟进行一次，并使用 Python 处理 ETL 工作(我将数据从 Web API 提取到 MySQL 系统中)。

我试图了解通过使用多线程或多处理同时进行多个连接和数据插入，我会看到什么样的潜在影响(无论是积极还是消极)。每个工作人员(无论是线程还是进程)都会更新与任何其他工作人员不同的表。

目前，我只更新六个表，每个表有几千条记录，但这需要扩展到数十个表和每个表数十万条记录。

我可以找到的所有其他资源都地址对同一个表进行多线程/处理，而不是每个工作人员的不同表。我的印象是我肯定想使用多线程/处理，但似乎每个人都在解决单表用例。

想法？

Answer 1

我认为你的问题太宽泛，无法简洁地回答。看来你在问两个不同的主题 - 写入单独的 MySQL 表会加速它，并且 python 多线程是可行的方法。对于 python 部分，由于您可能主要执行 IO，因此您应该查看 gevent ，和 ultramysql 。至于MySQL部分，还得等待更多答案。