python - 使用python同时下载文件并插入到mysql数据库

Question

我正在使用 urllib2 下载相对较大的文件(每个 10mb)，然后将其作为 json 文件加载并将数据插入 mysql 数据库，然后在无限循环中重复该过程。下载需要一分钟左右，然后将所有内容加载到 mysql 中。有没有办法创建一个线程来执行下载，而主线程使用 python 插入 mysql？

我的伪代码:

while 1:
 download file with urllib2
 decode as json file
 extract data I want
 do some computations on data
 insert data into mysql

非常感谢!

Answer 1

您可以做的是使用线程和队列。文件 IO 线程将读取和处理文件，然后将结果插入队列，然后数据库 IO 线程将在队列中发现结果并执行工作。与其编写示例代码，我将在此处指导您:http://www.ibm.com/developerworks/aix/library/au-threadingpython/

或者，您可以使用 python select 模块来管理多个文件读取操作，并在它们完成时一个一个地处理它们:http://docs.python.org/library/select.html