python - 使用 Python 从 Blob URL 下载文件

Question

我希望我的 Python 脚本从此 Frankfurt stock exchange webpage 下载主数据(下载，XLSX) Excel 文件.

当用urrlib和wget检索它时，结果发现URL指向一个Blob并且下载的文件只有289字节且不可读。

http://www.xetra.com/blob/1193366/b2f210876702b8e08e40b8ecb769a02e/data/All-tradable-ETFs-ETCs-and-ETNs.xlsx

我完全不熟悉 Blob，并且有以下问题:

• 使用 Python 能否成功检索“Blob 后面”的文件？

• 如果是这样，是否有必要揭开 Blob 背后的“真实”URL(如果存在这样的事情)以及如何揭开？我担心的是上面的链接不是静态的，而是经常变化的。

Answer 1

那个289字节长的东西可能是403禁止页面的HTML代码。发生这种情况是因为服务器很智能，如果您的代码未指定用户代理，服务器会拒绝。

Python 3

# python3
import urllib.request as request

url = 'http://www.xetra.com/blob/1193366/b2f210876702b8e08e40b8ecb769a02e/data/All-tradable-ETFs-ETCs-and-ETNs.xlsx'
# fake user agent of Safari
fake_useragent = 'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25'
r = request.Request(url, headers={'User-Agent': fake_useragent})
f = request.urlopen(r)

# print or write
print(f.read())

Python 2

# python2
import urllib2

url = 'http://www.xetra.com/blob/1193366/b2f210876702b8e08e40b8ecb769a02e/data/All-tradable-ETFs-ETCs-and-ETNs.xlsx'
# fake user agent of safari
fake_useragent = 'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25'

r = urllib2.Request(url, headers={'User-Agent': fake_useragent})
f = urllib2.urlopen(r)

print(f.read())