- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试将大量的每日天气数据存储到 postgreSQL 数据库中。这可能看起来不是很多数据,但大约有 95,000 个站点的每日数据可追溯到 100 年前。这可能意味着数百万条记录 (95,000 * 365 * 100) = 3,467,500,000。虽然这是一个高估,但对我来说将所有日常数据存储在一个表中仍然是不切实际的,其中站点 ID 作为外键映射到另一个包含站点信息的表。构建此数据以按站点查询数据系列的最佳方法是什么?我应该为每个站创建一个表(将产生 95,000 个表)还是应该尝试更广泛的东西,比如为每个区域创建一个表?有什么优点和缺点?非常感谢任何帮助。
我的数据是这样的:
Stations
*ID
-longitude
-latitude
-elevation
-country
-state
-name
...
Weather
*Station ID
*Date
-Precipitation
-High Temp
-Low Temp
最佳答案
这还不够信息。
您要优化什么:查询性能、磁盘使用率、更新速度?
根据您对这些问题的回答,“组合”您的数据可能有意义(每条记录存储超过一天;我假设“日期”表示它是一天,还是更细化? ), 以减少总行数。 Postgres 的每行开销相对较高 - 据您估计,仅行标题将占用 ~75GB。
或者,您可能想调查这样的事情:https://github.com/citusdata/cstore_fdw
使用更多表的优点是索引大小更小和(可能)物理数据局部性。在每个 station_id 一个表的极端情况下(在您的情况下不实用),您根本不需要 station_id 上的索引,并且查询可能最终是对数据的简单序列扫描你需要。
缺点是许多数据库操作涉及对所有表的线性扫描(尤其是在计划期间)并且管理数据库更加复杂。
典型的建议是将表的数量保持在几百到几千。也许。当然,除非您有一个非典型案例,并且您已经对其进行了测试并且它适用于您。
关于postgresql - SQL最佳数据库结构: NOAA Data,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30621476/
我试图使用 NOAA 进行每小时预报,但它不允许我输入东经。请求必须是西经。 他们甚至为印度等亚洲国家提供东经服务。 这是我使用的链接 http://graphical.weather.gov/xml
我有兴趣获取欧洲的 GFS 预测数据,可从以下网站免费获得。 Link to GFS Forecasts The data can be downloaded from here 我只需要欧洲(确切地
我有兴趣获取欧洲的 GFS 预测数据,可从以下网站免费获得。 Link to GFS Forecasts The data can be downloaded from here 我只需要欧洲(确切地
我正在尝试将大量的每日天气数据存储到 postgreSQL 数据库中。这可能看起来不是很多数据,但大约有 95,000 个站点的每日数据可追溯到 100 年前。这可能意味着数百万条记录 (95,000
无法让 NOAA API 给出我想要的结果。我已经找到了我想要使用的数据,但我无法使用 API 来找到它。我希望能够根据邮政编码搜索平均初霜日期的记录。数据应位于 NORMAL_ANN 数据集中。当我
有没有python程序可以从NOAA抓取详细数据,特别是每小时数据和7天昼夜预报? 我找到了 python-weather-api、python-weather 和 python-noaa。但是,它们
我正在从 ftp 获取每小时的紫外线指数NOAA 网站。如前所述 here ,预测时间在文件名中显示为 uv.t12z.grbfXX,其中 XX 是预测时间(01 到 120)。但是在 grib2 文
我正在开展一个数据挖掘项目,我想收集历史天气数据。我可以通过他们提供的网络界面获取历史数据 http://www.ncdc.noaa.gov/cdo-web/search 。但我想通过 API 以编程
我是 Android Studio 的新手,目前正在尝试创建一个使用 NOAA 网络服务的应用。我对如何从此 API 检索数据感到非常困惑。我有一个 token ,但我不确定如何开始。我不想使用 SO
我正在尝试使用纬度和经度坐标检索过去的 NOAA 数据。我对温度、风速、云量和降水等变量的历史时间序列和年度摘要都感兴趣。 例如:2008-02-20 13:00 (25.033972, 121.56
我正在尝试将 NOAA 的多普勒雷达添加到我的网络 map 中。无论出于何种原因,后者都不会显示在 map 上。没有报告任何错误,并且我已使用 console.log() 来确认数据是否从 noaa
NOAA 提供两种格式的免费海图: 1) “NOAA 电子导航海图® (NOAA ENC) 是代表 NOAA 最新、最强大的电子海图产品的矢量数据集。NOAA ENC 符合国际海道测量局 (IHO)
NOAA 提供两种格式的免费海图: 1) “NOAA 电子导航海图® (NOAA ENC) 是代表 NOAA 最新、最强大的电子海图产品的矢量数据集。NOAA ENC 符合国际海道测量局 (IHO)
我已经使用系统服务获取了用户的经纬度。 有了这些数据,我想将它发送到 NOAA 国家气象服务 API 并检索特定的天气详细信息。 我知道 API 是用于通信的接口(interface),但我从未使用过
我希望获得有关我正在编写的 Javascript 代码的帮助,以从 NOAA xml 文件中提取天气数据(从此处下载: http://graphical.weather.gov/xml/SOAP_se
我希望使用 NOAA 海图 tileset作为用 R 制作的传单 map 中的 basemap 。 library(leaflet) leaflet() %>% addTiles() #use NOA
我有兴趣获取欧洲的 GFS 预测数据,可从以下网站免费获得: https://www.ncdc.noaa.gov/data-access/model-data/model-datasets/globa
新的 NOAA api 说我需要在 header 中放置一个 token 才能发送请求,如果没有它,它就会给我一个需要 token 的错误。我输入了电子邮件并收到了一个 token ,但我不确定如何将
我正在尝试将这个特定的纬度和经度字符串解析到用 Java 编写的 XML 解析器中,但我不确定要使用什么元素,因为 point 没有结束 /> point1 http://forecast.
我正在使用 NWS REST API 作为我正在制作的应用程序的天气服务。最初我不太愿意使用 NWS,因为它的文档不好,但我无法抗拒,因为它是完全免费提供的。 现在我正在尝试使用它,但遇到了一些困难。
我是一名优秀的程序员,十分优秀!