python - Python 中的持久 MySQL 连接用于社交媒体收集

Question

我正在使用 Python 将大量 Twitter 数据传输到 MySQL 数据库中。我预计我的工作会持续几周的时间。我有与 twitter API 交互的代码，并为我提供了一个生成列表的迭代器，每个列表对应于一个数据库行。我需要的是一种能够维持数周持久数据库连接的方法。现在，当我的连接丢失时，我发现自己必须重复重新启动脚本，有时是由于 MySQL 重新启动所致。

使用 mysqldb 库、捕获异常并在必要时重新连接是否最有意义？或者是否有一个已经制定的解决方案作为 sqlalchemy 或另一个包的一部分？任何想法表示赞赏!

Answer 1

我认为正确的答案是尝试处理连接错误；听起来你只会为了这个功能而引入一个更大的库，而尝试和捕获可能就是它的完成方式，无论它处于堆栈的哪个级别。如果有必要，你可以对这些东西进行多线程处理，因为它们可能是 IO 绑定(bind)的(即适合 Python GIL 线程，而不是多处理)，并使用队列将生产和消费解耦，这可能会减轻一些负载的数据库连接。