python - 在Python中按日期从http下载多个XLS文件

Question

有一个通用网址，可以链接到数据库内的任何 XLS 文件。您无法通过 ftp 或直接通过目录访问它，但您可以通过将日期参数传递到 http 地址本身来下载。

http 是:

https://docs.misoenergy.org/marketreports/YYYYMMDD_sr_gfm.xls

用户可以将 YYYYMMDD 更改为实际日期，并且该地址可用于下载 xls 文件(每日)。

我希望能够循环访问这些文件，并从给定的开始日期和结束日期下载它们，方法是替换 YYYY、MM 和 DD，因此从2003-01-01 并运行至今 2018-12-06。

我该如何开始这个？

Answer 1

以下应该有效:

from datetime import date, timedelta

import requests

d1 = date(2018, 8, 15)  # start date
d2 = date(2018, 8, 25)  # end date

delta = d2 - d1

url_pattern = 'https://docs.misoenergy.org/marketreports/%s'
file_pattern = '%s_sr_gfm.xls'

for i in range(delta.days + 1):
    filename = file_pattern % str(d1 + timedelta(i)).replace('-', '')
    print(filename)

    response = requests.get(url_pattern % filename, stream=True)
    response.raise_for_status()

    with open(filename, 'wb') as handle:
        for block in response.iter_content(1024):
            handle.write(block)