python - python中的多处理/多线程下载文件

Question

我有一个 csv 文件，其中包含我希望从雅虎财经提取的符号列表。 (约3000个)

df = pandas.read_csv('ticker_file.csv')
start = datetime.datetime(2010, 1, 1)
end = datetime.datetime.today()

for each_code in df['Symbol']:  # got it from pandas website "Remote Data Access"
    get_prices = web.DataReader(each_code, 'yahoo', start, end)
    get_prices.to_csv(each_code + '.csv')

提取一个符号并将其保存到csv大约需要2.5 - 3秒。

我想知道，使用多处理/超线程来加速这个过程是否可能/更快？

Answer 1

您可以非常轻松地使用工作线程的多处理池。看看https://docs.python.org/2/library/multiprocessing.html以及给出的第一个示例(使用 5 个工作人员池)。它看起来像这样:

def f(each_code):
    start = datetime.datetime(2010, 1, 1)
    end = datetime.datetime.today()
    get_prices = web.DataReader(each_code, 'yahoo', start, end)
    get_prices.to_csv(each_code + '.csv')

p = Pool(20)
p.map(f, df['Symbol'])

不能说它是否会加快速度。只要网站不提示，它就可能会发生。