database - 在 InfluxDB 中将测量拆分为多个测量以提高内存性能？例如，金融价格数据的每个股票代码一个度量

Question

我们在 32 GB(内存)服务器上的 InfluxDB 实例中存储了大量的亚分钟级股票价格变动数据，具有充足的存储空间。不幸的是，我们遇到了内存问题。已完成以下调整:

cache_snapshot_memory_size         => 6553600,
cache_snapshot_write_cold_duration => '1m',
max_series_per_database            => 10000000,
cluster_write_timeout              => '10s',

系列的数量大约是650000，而且几乎没有增长。

简化后，我们的架构目前将出价和要价存储在单个测量 orderbook 中，其中包含(非索引)字段，如 bid、ask 、bid_volume、ask_volume 等，此外还有一些(索引)标签。除了 ticker 标签之外，所有标签的基数都很小。

如果我们对每个代码进行一个订单簿测量，我们是否会看到内存占用减少？ orderbook.aapl、orderbook.googl、orderbook.abc等

目前我们有大约 300 个代码，但在几年内可能会增加到 10000 个。

在检索数据时，我们总是在代码上使用过滤器。

引用资料:

• 主张不在度量中存储数据，但考虑到编写查询有多么困难。内存性能对我们来说至关重要:https://docs.influxdata.com/influxdb/v1.1/concepts/schema_and_data_layout/
• 由于内存性能而在“帐户”上拆分，但这是一个旧的博客条目:http://www.ryandaigle.com/a/time-series-db-design-with-influx

Answer 1

来自#influxdb 的答案 gophers.slack.com :

• 您提议的方法性能不佳。我们强烈建议使用标签。这就是数据库假定用户将对其数据建模的方式。将元数据添加到测量是一种反模式

• 将独特的标签拆分为独特的测量结果不会显着降低内存消耗