- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我已经尝试过请求、pydap、urllib 和 netcdf4,但在尝试下载以下 NASA 数据时总是出现重定向错误或权限错误:
GLDAS_NOAH025SUBP_3H:GLDAS Noah 陆地表面模型 L4 3 每小时 0.25 x 0.25 度子集 V001 ( http://disc.sci.gsfc.nasa.gov/uui/datasets/GLDAS_NOAH025SUBP_3H_V001/summary?keywords=Hydrology )
我正在尝试下载大约 50k 个文件,这里是一个例子,粘贴到 google chrome 浏览器时可以正常工作(如果您有正确的用户名和密码):
有人有过使用 python 从网络获取 OPeNDAP NASA 数据的经验吗?如果需要,我很乐意提供更多信息。
这是给出 401 错误的请求尝试:
import requests
def httpdownload():
'''loop through each line in the text file and open url'''
httpfile = open(pathlist[0]+"NASAdownloadSample.txt", "r")
for line in httpfile:
print line
outname = line[-134:-122]+".hdf"
print outname
username = ""
password = "*"
r = requests.get(line, auth=("username", "password"), stream=True)
print r.text
print r.status_code
with open(pathlist[0]+outname, 'wb') as out:
out.write(r.content)
print outname, "finished" # keep track of progress
这是给出重定向错误的 pydap 示例:
import install_cas_client
from pydap.client import open_url
def httpdownload():
'''loop through each line in the text file and open url'''
username = ""
password = ""
httpfile = open(pathlist[0]+"NASAdownloadSample.txt", "r")
fileone = httpfile.readline()
filetot = fileone[:7]+username+":"+password+"@"+fileone[7:]
print filetot
dataset = open_url(filetot)
最佳答案
我没有找到使用 python 的解决方案,但根据我现在掌握的信息,它应该是可能的。我将 wget 与 .netrc 文件和 cookie 文件一起使用,如下所示 (https://disc.gsfc.nasa.gov/information/howto?title=How%20to%20Download%20Data%20Files%20from%20HTTP%20Service%20with%20wget):
#!/bin/bash
cd # path to output files
touch .netrc
echo "machine urs.earthdata.nasa.gov login <username> password <password>" >> .netrc
chmod 0600 .netrc
touch .urs_cookies
wget --content-disposition --trust-server-names --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --auth-no-challenge=on --keep-session-cookies
-i <path to text file of url list>
希望它能帮助任何其他使用来自该服务器的 NASA 数据的人。
关于python - 如何使用 python 下载 nasa 卫星 OPeNDAP 数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40088745/
我正在使用 URL 从 opendap 服务器(数据的子集)打开 netcdf 数据。当我打开它时,数据(据我所知)在请求变量之前实际上并未加载。我想将数据保存到磁盘上的文件中,我该怎么做? 我目前有
我正在使用 xarray 非常酷的 pydap 后端 ( http://xarray.pydata.org/en/stable/io.html#opendap ) 来读取通过 IRI 的 OPenDA
我正在运行可操作的海洋模型,所以我每天都会将新的 netCDF 文件放入通过 opendap TDS 和 tomcat 提供的文件夹中。模型完成后,旧文件被新文件覆盖它们具有相同的名称(!),但服务器
我已经尝试过请求、pydap、urllib 和 netcdf4,但在尝试下载以下 NASA 数据时总是出现重定向错误或权限错误: GLDAS_NOAH025SUBP_3H:GLDAS Noah 陆地表
我尝试使用 xarray.open_mfdataset() 打开 THREDDS 服务器上 OpenDAP 上托管的多个 NetCDF 文件,但出现错误。如果我只打开一个文件(但仍然使用 open_m
我有一个 opendap thredds 链接到一个目录,该目录包含许多来自特拉华州业务预报系统 (DBOFS) 的海洋学模型输出文件。历史数据存储在单独的每小时文件中,甚至一些文件跨越多个小时。我想
我是一名优秀的程序员,十分优秀!