mysql - 将时间序列数据链接到关系数据库中的记录

Question

这几天我一直在考虑这个问题，但我觉得我缺少合适的词来向谷歌询问我需要回答的问题。 这就是为什么我非常感谢您提供的帮助、提示或指导。首先，我几乎没有使用数据库的经验(除了滥用 Excel 本身)，不幸的是，我的所有数据都写在非常不切实际且巨大的 .csv 文件中。

我有什么:表 1 中有数百个传感器 (SP) 在过去几年(总共几百万行)中的时间序列数据(以 15 分钟为单位)。还有一些适用于我所有传感器的天气状况数据 (WCD)，因此存储在同一个表中。请注意，每个传感器每次测量都会提供两个数据点。

Table1 (传感器作为列)

现在我还有另一个表(表 2)，其中列出了定义 表 1 中每个传感器的几个静态属性。

Table 2 (传感器作为行)

我的主要问题是关于数据库设计和一般实现(MySQL 或 MS Access):是否真的有必要在其中包含数百列(每个传感器两列) 表 1？我希望我可以将指向相应时间序列数据的“链接”简单地存储为 Table2 中的两个附加列。

这可行吗？这有意义吗？我将如何自动设置此数据库(来自具有不同结构的 .csv 文件)，因为我无法手动输入数百个传感器及其附加时间序列的每一列？

最后，我希望能够按时间范围、日期和传感器属性查询/排序我的数据(见下文)。

这一切的原因如下:我想创建第三个表 (Table3) 来“存储”动态值。这些值是基于表 1 中的传感器测量和 WCD 的计算结果。但是，根据 Table2 中的传感器属性，传感器及其各自的时间序列数据用作Table3 的计算可能因集合而异。

这样我想获得例如第 1 组:“2010 年 1 月至 2011 年 11 月之间每个月的位置为 A 的传感器组合”并将其存储在某处。然后我想对第 2 组做同样的事情:例如“同一时间范围内具有位置 B 的传感器组合”。最后，我将比较这些不同的投资组合，并对它们进行进一步的分析。这听起来合理吗？到目前为止，我什至不确定我是否应该将 Table3 的每次计算结果实际存储在数据库中，或者我是否应该输出它们查询并将它们直接输入到我的分析工具中。什么更有意义？

Answer 1

对您的传感器和 WCD 数据更有用的结构是:

表格 SD - 传感器数据

列:

Datetime
Sensor
A_value
B_value

使用这种结构，您不需要在表 2 中存储指向时间序列数据的链接——Sensor 值是链接表的公共(public)数据。

如果您的天气状况数据都具有相同类型的值和/或属性，那么您应该类似地对其进行归一化:

表 WCD - 天气状况数据，归一化

列:

Datetime
Weather_condition
Weather_condition_value

从您的示例来看，不同的天气条件可能具有不同的属性(或属性的不同数据类型)，在这种情况下，您在表 1 中拥有 WCD 的形式可能是最合适的。

如果至少您的一些进一步分析可以或将会使用 SQL 完成，那么将您的计算结果存储在另一个表中听起来是一件合理的事情。