pandas - 从 ERA5 再分析中提取移动船舶的时间和空间变量-6ren

pandas - 从 ERA5 再分析中提取移动船舶的时间和空间变量

转载作者：行者123 更新时间：2023-12-05 03:17:08

我想从一艘移动的船内的一个站提取测得的风，我有纬度、经度和时间值以及空间中每个时间步长的风值。我可以为所有时间步长提取空间中的一个固定点，但我想提取例如时间步长 x 处的风到船移动时的日期经度和纬度。我如何通过下面的代码执行此操作？

data = xr.open_dataset('C:/Users/William Jacondino/Desktop/Dados/ERA5\\ERA5_2017.nc', decode_times=False)

dir_out = 'C:/Users/William Jacondino/Desktop/MovingShip'
if not os.path.exists(dir_out):
    os.makedirs(dir_out)

print("\nReading the observation station names:\n")

stations = pd.read_csv(r"C:/Users/William Jacondino/Desktop/MovingShip/Date-TIME.csv",index_col=0, sep='\;')

print(stations)

读取观测站名称:

                  Latitude  Longitude
Date-Time                            
16/11/2017 00:00  0.219547 -38.247914
16/11/2017 06:00  0.861717 -38.188858
16/11/2017 12:00  1.529534 -38.131039
16/11/2017 18:00  2.243760 -38.067467
17/11/2017 00:00  2.961202 -38.009050
...                    ...        ...
10/12/2017 00:00 -5.775127 -35.206581
10/12/2017 06:00 -5.775120 -35.206598
10/12/2017 12:00 -5.775119 -35.206583
10/12/2017 18:00 -5.775122 -35.206584
11/12/2017 00:00 -5.775115 -35.206590



# variável tempo e unidade 

times = data.variables['time'][:]
unit =  data.time.units

# variáveis latitude (lat) e longitude (lon)

lon = data.variables['longitude'][:]
lat = data.variables['latitude'][:]

# variável temperatura em 2 metros em celsius

temp = data.variables['t2m'][:]-275.15

# variável temperatura do ponto de orvalho em 2 metros em celsius

tempdw = data.variables['d2m'][:]-275.15

# variável sea surface temperature (sst) em celsius

sst = data.variables['sst'][:]-275.15

# variável Surface sensible heat flux sshf

sshf = data.variables['sshf'][:]
unitsshf = data.sshf.units

# variável Surface latent heat flux

slhf = data.variables['slhf'][:]
unitslhf = data.slhf.units

# variável Mean sea level pressure

msl = data.variables['msl'][:]/100
unitmsl = data.msl.units

# variável Total precipitation em mm/h

tp = data.variables['tp'][:]*1000

# componente zonal do vento em 100 metros

uten100 = data.variables['u100'][:]
unitu100 = data.u100.units

# componente meridional do vento em 100 metros

vten100  = data.variables['v100'][:]
unitv100 = data.v100.units

# componente zonal do vento em 10 metros

uten  = data.variables['u10'][:]
unitu = data.u10.units

# componente meridional do vento em 10 metros

vten  = data.variables['v10'][:]
unitv = data.v10.units

# calculando a velocidade do vento em 10 metros

ws    = (uten**2 + vten**2)**(0.5)

# calculando a velocidade do vento em 100 metros

ws100  = (uten100**2 + vten100**2)**(0.5)

# calculando os ângulos de U e V para obter a direção do vento em 10 metros

wdir = (180 + (np.degrees(np.arctan2(uten, vten)))) % 360

# calculando os ângulos de U e V para obter a direção do vento em 100 metros

wdir100 = (180 + (np.degrees(np.arctan2(uten100, vten100)))) % 360

for key, value in stations.iterrows():
    #print(key,value[0], value[1], value[2])
    station = value[0]
    file_name = "{}{}".format(station+'_1991',".csv")
    #print(file_name)
    lon_point = value[1]
    lat_point = value[2]
    ########################################
    
    # Encontrando o ponto de Latitude e Longitude mais próximo das estações
    
    # Squared difference of lat and lon
    sq_diff_lat = (lat - lat_point)**2
    sq_diff_lon = (lon - lon_point)**2
    
    # Identifying the index of the minimum value for lat and lon
    min_index_lat = sq_diff_lat.argmin()
    min_index_lon = sq_diff_lon.argmin()
    print("Generating time series for station {}".format(station))
    
    ref_date   = datetime.datetime(int(unit[12:16]),int(unit[17:19]),int(unit[20:22]))

    date_range   = list()
    temp_data    = list()
    tempdw_data = list()
    sst_data     = list()
    sshf_data    = list()
    slhf_data    = list()
    msl_data     = list()
    tp_data      = list()
    uten100_data = list()
    vten100_data = list()
    uten_data    = list()
    vten_data    = list()
    ws_data      = list()
    ws100_data   = list()
    wdir_data    = list()
    wdir100_data = list()
    
    for index, time in enumerate(times):
        date_time = ref_date+datetime.timedelta(hours=int(time))
        date_range.append(date_time)
        temp_data.append(temp[index, min_index_lat, min_index_lon].values)
        tempdw_data.append(tempdw[index, min_index_lat, min_index_lon].values)
        sst_data.append(sst[index, min_index_lat, min_index_lon].values)
        sshf_data.append(sshf[index, min_index_lat, min_index_lon].values)
        slhf_data.append(slhf[index, min_index_lat, min_index_lon].values)
        msl_data.append(msl[index, min_index_lat, min_index_lon].values)
        tp_data.append(tp[index, min_index_lat, min_index_lon].values)
        uten100_data.append(uten100[index, min_index_lat, min_index_lon].values)
        vten100_data.append(vten100[index, min_index_lat, min_index_lon].values)
        uten_data.append(uten[index, min_index_lat, min_index_lon].values)
        vten_data.append(vten[index, min_index_lat, min_index_lon].values)
        ws_data.append(ws[index,min_index_lat,min_index_lon].values)
        ws100_data.append(ws100[index,min_index_lat,min_index_lon].values)
        wdir_data.append(wdir[index,min_index_lat,min_index_lon].values)
        wdir100_data.append(wdir100[index,min_index_lat,min_index_lon].values)
    ################################################################################    
    
    #print(date_range)
    
    df = pd.DataFrame(date_range, columns = ["Date-Time"])
    df["Date-Time"] = date_range
    df = df.set_index(["Date-Time"])
    df["WS10  ({})".format(unitu)] = ws_data
    df["WDIR10  ({})".format(units.deg)] = wdir_data
    df["WS100  ({})".format(unitu)] = ws100_data
    df["WDIR100  ({})".format(units.deg)] = wdir100_data
    df["Chuva({})".format(units.mm)] = tp_data 
    df["MSLP ({})".format(units.hPa)] = msl_data
    df["T2M ({})".format(units.degC)] = temp_data
    df["Td2M ({})".format(units.degC)] = tempdw_data
    df["Surface Sensible Heat Flux ({})".format(unitsshf)] = sshf_data                      
    df["Surface latent heat flux ({})".format(unitslhf)] = slhf_data 
    df["U10  ({})".format(unitu)] = uten_data
    df["V10  ({})".format(unitv)] = vten_data
    df["U100  ({})".format(unitu100)] = uten100_data
    df["V100  ({})".format(unitv100)] = vten100_data
    df["TSM ({})".format(units.degC)] = sst_data

    print("The following time series is being saved as .csv files")
        
    df.to_csv(os.path.join(dir_out,file_name), sep=';',encoding="utf-8", index=True)
    
print("\n! !Successfuly saved all the Time Series the output Directory!!\n{}".format(dir_out))

我在空间给定点提取固定变量的代码是这样的，但我想在船舶移动期间提取，例如在时间 11/12/2017 00:00，纬度 -5.775115 和经度 - 35.206590 我有一个风的值，在下一个时间步骤中另一个纬度 x 经度我有另一个值。我该如何调整我的代码？

最佳答案

这是 xarray 的 advanced indexing 的另一个完美用例!我觉得这部分用户指南需要披风和主题曲:)

我将使用与您的(我认为)相似的编造数据集和一组站点。第一步是重置日期时间索引，因此您可以使用它从 xarray.Dataset 中提取最近的时间值，因为您需要时间、纬度和经度的公共(public)索引:

In [14]: stations = stations.reset_index(drop=False)
    ...: stations
Out[14]:
            Date-Time   Latitude   Longitude
0 2017-11-16 00:00:00   0.219547  -38.247914
1 2017-11-16 06:00:00   0.861717  -38.188858
2 2017-11-16 12:00:00   1.529534  -38.131039
3 2017-11-16 18:00:00   2.243760  -38.067467
4 2017-11-17 00:00:00   2.961202  -38.009050
5 2017-12-10 00:00:00  -5.775127  -35.206581
6 2017-12-10 06:00:00  -5.775120  -35.206598
7 2017-12-10 12:00:00  -5.775119  -35.206583
8 2017-12-10 18:00:00  -5.775122  -35.206584
9 2017-12-11 00:00:00  -5.775115  -35.206590

In [15]: ds
Out[15]:
<xarray.Dataset>
Dimensions:  (lat: 40, lon: 40, time: 241)
Coordinates:
  * lat      (lat) float64 -9.75 -9.25 -8.75 -8.25 -7.75 ... 8.25 8.75 9.25 9.75
  * lon      (lon) float64 -44.75 -44.25 -43.75 -43.25 ... -26.25 -25.75 -25.25
  * time     (time) datetime64[ns] 2017-11-01 2017-11-01T06:00:00 ... 2017-12-31
Data variables:
    temp     (lat, lon, time) float64 0.07366 0.3448 0.2456 ... 0.3081 0.4236
    tempdw   (lat, lon, time) float64 0.07366 0.3448 0.2456 ... 0.3081 0.4236
    sst      (lat, lon, time) float64 0.07366 0.3448 0.2456 ... 0.3081 0.4236
    ws       (lat, lon, time) float64 0.07366 0.3448 0.2456 ... 0.3081 0.4236
    ws100    (lat, lon, time) float64 0.07366 0.3448 0.2456 ... 0.3081 0.4236
    wdir     (lat, lon, time) float64 0.07366 0.3448 0.2456 ... 0.3081 0.4236
    wdir100  (lat, lon, time) float64 0.07366 0.3448 0.2456 ... 0.3081 0.4236

使用高级索引规则，如果我们使用 DataArrays 作为索引器从数据集中进行选择，结果将被 reshape 以匹配索引器。这意味着我们可以获取您的站点数据帧，它具有值时间、纬度和经度，并从 xarray 数据集中提取最近的索引:

In [16]: ds_over_observations = ds.sel(
    ...:     time=stations["Date-Time"].to_xarray(),
    ...:     lat=stations["Latitude"].to_xarray(),
    ...:     lon=stations["Longitude"].to_xarray(),
    ...:     method="nearest",
    ...: )

现在，我们的数据与您的数据框具有相同的索引!

In [17]: ds_over_observations
Out[17]:
<xarray.Dataset>
Dimensions:  (index: 10)
Coordinates:
    lat      (index) float64 0.25 0.75 1.75 2.25 ... -5.75 -5.75 -5.75 -5.75
    lon      (index) float64 -38.25 -38.25 -38.25 ... -35.25 -35.25 -35.25
    time     (index) datetime64[ns] 2017-11-16 ... 2017-12-11
  * index    (index) int64 0 1 2 3 4 5 6 7 8 9
Data variables:
    temp     (index) float64 0.1887 0.222 0.6754 0.919 ... 0.1134 0.9231 0.6095
    tempdw   (index) float64 0.1887 0.222 0.6754 0.919 ... 0.1134 0.9231 0.6095
    sst      (index) float64 0.1887 0.222 0.6754 0.919 ... 0.1134 0.9231 0.6095
    ws       (index) float64 0.1887 0.222 0.6754 0.919 ... 0.1134 0.9231 0.6095
    ws100    (index) float64 0.1887 0.222 0.6754 0.919 ... 0.1134 0.9231 0.6095
    wdir     (index) float64 0.1887 0.222 0.6754 0.919 ... 0.1134 0.9231 0.6095
    wdir100  (index) float64 0.1887 0.222 0.6754 0.919 ... 0.1134 0.9231 0.6095

您可以使用 .to_dataframe 将其转储到 pandas 中:

In [18]: df = ds_over_observations.to_dataframe()

In [19]: df
Out[19]:
        lat    lon                time      temp    tempdw       sst        ws     ws100      wdir   wdir100
index
0      0.25 -38.25 2017-11-16 00:00:00  0.188724  0.188724  0.188724  0.188724  0.188724  0.188724  0.188724
1      0.75 -38.25 2017-11-16 06:00:00  0.222025  0.222025  0.222025  0.222025  0.222025  0.222025  0.222025
2      1.75 -38.25 2017-11-16 12:00:00  0.675417  0.675417  0.675417  0.675417  0.675417  0.675417  0.675417
3      2.25 -38.25 2017-11-16 18:00:00  0.919019  0.919019  0.919019  0.919019  0.919019  0.919019  0.919019
4      2.75 -38.25 2017-11-17 00:00:00  0.566266  0.566266  0.566266  0.566266  0.566266  0.566266  0.566266
5     -5.75 -35.25 2017-12-10 00:00:00  0.652490  0.652490  0.652490  0.652490  0.652490  0.652490  0.652490
6     -5.75 -35.25 2017-12-10 06:00:00  0.429541  0.429541  0.429541  0.429541  0.429541  0.429541  0.429541
7     -5.75 -35.25 2017-12-10 12:00:00  0.113352  0.113352  0.113352  0.113352  0.113352  0.113352  0.113352
8     -5.75 -35.25 2017-12-10 18:00:00  0.923058  0.923058  0.923058  0.923058  0.923058  0.923058  0.923058
9     -5.75 -35.25 2017-12-11 00:00:00  0.609493  0.609493  0.609493  0.609493  0.609493  0.609493  0.609493

结果中的索引与站点数据相同。如果愿意，您可以使用 pd.concat([stations, df], axis=1).set_index("Date-Time") 合并原始值以恢复原始索引，以及所有天气数据:


In [20]: pd.concat([stations, df], axis=1).set_index("Date-Time")
Out[20]:
                     Latitude  Longitude   lat    lon                time      temp    tempdw       sst        ws     ws100      wdir   wdir100
Date-Time
2017-11-16 00:00:00  0.219547 -38.247914  0.25 -38.25 2017-11-16 00:00:00  0.188724  0.188724  0.188724  0.188724  0.188724  0.188724  0.188724
2017-11-16 06:00:00  0.861717 -38.188858  0.75 -38.25 2017-11-16 06:00:00  0.222025  0.222025  0.222025  0.222025  0.222025  0.222025  0.222025
2017-11-16 12:00:00  1.529534 -38.131039  1.75 -38.25 2017-11-16 12:00:00  0.675417  0.675417  0.675417  0.675417  0.675417  0.675417  0.675417
2017-11-16 18:00:00  2.243760 -38.067467  2.25 -38.25 2017-11-16 18:00:00  0.919019  0.919019  0.919019  0.919019  0.919019  0.919019  0.919019
2017-11-17 00:00:00  2.961202 -38.009050  2.75 -38.25 2017-11-17 00:00:00  0.566266  0.566266  0.566266  0.566266  0.566266  0.566266  0.566266
2017-12-10 00:00:00 -5.775127 -35.206581 -5.75 -35.25 2017-12-10 00:00:00  0.652490  0.652490  0.652490  0.652490  0.652490  0.652490  0.652490
2017-12-10 06:00:00 -5.775120 -35.206598 -5.75 -35.25 2017-12-10 06:00:00  0.429541  0.429541  0.429541  0.429541  0.429541  0.429541  0.429541
2017-12-10 12:00:00 -5.775119 -35.206583 -5.75 -35.25 2017-12-10 12:00:00  0.113352  0.113352  0.113352  0.113352  0.113352  0.113352  0.113352
2017-12-10 18:00:00 -5.775122 -35.206584 -5.75 -35.25 2017-12-10 18:00:00  0.923058  0.923058  0.923058  0.923058  0.923058  0.923058  0.923058
2017-12-11 00:00:00 -5.775115 -35.206590 -5.75 -35.25 2017-12-11 00:00:00  0.609493  0.609493  0.609493  0.609493  0.609493  0.609493  0.609493

关于pandas - 从 ERA5 再分析中提取移动船舶的时间和空间变量，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/74283822/

文章推荐：新镜像版本的 Docker 通知

文章推荐： python - 如何计算 Python 数组中指定单词的出现次数？

文章推荐： python - pyproject.toml中 "[tool.setuptools.packages] find = {}"的作用

文章推荐： f# - F# 可以同时使用构造函数参数和属性初始值设定项吗？

Tomcat 用完了 PermGen 空间，即使保留了很多 PermGen 空间
运行 Tomcat 失败并出现 java.lang.OutOfMemoryError - 与缺少 PermGen 空间相关的错误。我最近将 Tomcat 更改为以自己的用户(而非 root)运行。
空间+时间参数的Postgresql复合索引
我们有一个表，其中包含数百万行，其中包含 PostGIS 几何图形。我们要执行的查询是:落在边界几何内的最新条目是什么？这个查询的问题是我们经常会有大量的项目匹配边界框(半径大约为 5 公里)，然后
php - Elasticsearch 空间
我有一个Elasticsearch设置，它将允许用户搜索通配符作为索引。 array:3 [ "index" => "users" "type" => "user" "body" => arra
表格中按钮之间的 HTML 空间
我创建了一个表，其中每行包含两个按钮，并且两个按钮连接在一起，我想将两个按钮分开。我用过不起作用，css 也是，这是他们的另一种方式。我有另一个问题，因为我不想在表格边框内显示操作按钮，而是在靠近
按钮之间的 CSS 空间
我试图在 jQuery Mobile 中的两个按钮之间留出空白。现实中的布局是这样的: Button 1 Button 2 (Hidden w/ display: none)
函数后的 JavaScript 空间
按照目前的情况，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the
android - 如何使用图表引擎减少条形图和图表图例之间的间隙/空间？
您好，我对图表应用程序还很陌生。现在我为我的应用程序创建了条形图。当我运行 create bar chart as separate project 时，输出如下所示。然后当我将条形图与我的应用程序
hibernate 空间 : can't find function
我在使用 H2 和 GeoDB(内存中，junit)时遇到问题。另外，使用 Hibernate 5(每个包的最新版本，包括 hibernate-spatial)和 Spring 4。通过 id 实
r - 映射澳大利亚城市 - R 空间
我想画一张澳大利亚的 map ，并将每个城市表示为一个点。然后突出显示人口众多(> 1M)的城市 library(sp) library(maps) data(canada.cities) head
Cassandra:备份整个 key 空间
关闭。这个问题是opinion-based .它目前不接受答案。想改进这个问题？更新问题，以便 editing this post 提供事实和引用来回答它. 6年前关闭。 Improve this
delphi - Memo1.Loadfromfile()空间
如何保持.txt文件中存在的空格？在.txt文件中，它表示： text :text text1 :text1 text23 :text2 text345 :text3 如果我写这段
passwords - 如何计算密码的 key 空间？
以下哪个键最大？选项 1:16 个数字 [0,9] 选项 2:30 个元音选项 3:字母表中的 16 个字母选项 4:32 位有人可以帮助我，告诉我哪一个是正确的答案以及我们如何计算它吗？我知
android - Azure 空间 anchor
在 Unity 3d 中使用 Azure 空间 anchor 来实现在 iOS 和 Android 上部署的室内和室外增强现实体验是否有益？最佳答案是的，对于 Azure Spatial Anch
javascript - 调整大小的图像占用太多 UI 空间
我有一个绝对定位的圆形图像。图像只需占据屏幕宽度的 17%，并且距离顶部 5 个像素。问题是，当我调整图像大小以占据屏幕宽度的 17% 时，它会这样做，但同时容器会变长。图像本身不会拉伸(stret
cassandra - 使用nodetool备份cassandra key 空间
我在 Ubuntu 14.04 上使用 Cassandra。从文档中，我可以看到运行命令: nodetool snapshot 创建我的 key 空间的快照。命令的输出是: nodetool sn
Heroku 将应用程序迁移到私有(private)空间
Heroku引入了“私有(private)空间”，是否可以将现有应用迁移到私有(private)空间？ https://blog.heroku.com/archives/2015/9/10/herok
mediawiki - 在语义记录中设置非绑定(bind)空间
是否允许在语义记录中使用非绑定(bind)空格或其他 HTML 编码字符？我遇到的问题是 ; 字符被软件视为记录的结尾。例如:假设我有一份婚姻记录，其中包含 2 个结婚者的姓氏、结婚年份以及结
python - 自动泊车位检测-如何使用OpenCV和Python初始化泊车位图/空间
我正在研究“智能 parking ”项目，偶然发现了包含我们真正需要的YouTube视频。我们已经实现了第一部分，即从视频源进行实时透视变换，下一步是将其定义为一组矩形我基本上需要知道他是如何做到的
java - 如何为两个类创建共享 ID 空间？
我有两个类:Engine 和 Trainset(多个单元)，这两个类共享其 ID 空间，其中包含名称和系列 id=- . 这是我的Engine类(它是抽象的，因为有引擎的子类型(DieselEngin
java - 分割字符串 Java 空间
如果有人能帮助我，那就太好了。我正在尝试使用Java的Split命令，使用空格分割字符串，但问题是，字符串可能没有空格，这意味着它将只是一个简单的顺序(而不是“输入2”将是“退出”) Scanner

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

pandas - 从 ERA5 再分析中提取移动船舶的时间和空间变量