mysql - 将时间序列数据存储在数据库或二进制文件中

Question

我正在存储大量时间序列金融市场报价数据。

通常，此数据是按顺序写入的(即 - 数据在进入时带有时间戳，然后写入数据库)。

我需要(仅)根据时间戳读取数据 - 即一般查询类似于“选择 2012 年 1 月 1 日至 2012 年 2 月 1 日之间的所有数据”。

问题:如果读取性能最重要，我最好将这些数据存储在二进制文件或 mySQL 数据库中吗？

在我看来，数据的特性可能更适合文件，我的初步测试似乎表明这样更快(即，我可以更快地读取数据)。

Answer 1

你的描述只谈了时间维度。但是其他维度是什么？可能是不同的金融工具(MSFT、IBM、AAPL 等)。

金融市场数据的本质通常是按时间维度顺序接收(你得到数十万股票价格的每日更新)但按金融工具维度查询(你查询单个工具的所有价格，可能有点受时间限制)。

因此，如果您想要最大的读取性能，您必须确保您的数据不是以接收方式存储，而是以查询方式存储，即在磁盘上，它必须按金融工具进行物理排序。

我过去曾在 Oracle 中成功实现过这一点。在那里，您基本上创建了一个索引组织表，其中金融工具标识符和日期作为主键(标识符需要在第一位)。然后 Oracle 将或多或少地存储按金融工具标识符和日期排序的数据。因此，如果您在给定时间范围内查询单个工具的股票价格，所有需要的数据都将在连续的磁盘页面上，并且已经按所需顺序排列，因此查询速度会非常快。

我对 MySQL 没有太多经验。但据我了解，您可以使用 InnoDB 存储引擎和聚簇索引实现相同的目的:

CREATE TABLE prices (
    ticker CHAR(10),
    date DATE,
    close NUMBER(10, 4),
    PRIMARY KEY (ticker, date)
) ENGINE=InnoDB;

请不要使用二进制文件。你会后悔的。