javascript - 使用indexedDb高效存储和检索时间序列数据

Question

我正在考虑在网络浏览器中使用 JavaScript 存储和检索时间序列数据。我预计每秒有 500 - 5000 个浮点项目进行趋势分析。存储时，每个项目都将具有唯一的标记名称、相同的时间戳 (Date.now()) 和浮点值。

在检索数据时，我通常有兴趣获取单个标记名称的值数组，其中时间戳落在指定范围内。

我的问题是我不理解indexedDb数据模型和API。是否可以通过一次调用存储我的所有新值(为所有 1000 个标签每秒生成一次)？

我用 Dexie 作为 indexedDb 的包装器进行了一些实验，这是我的测试代码:

async function start() {

  // Define database

  await Dexie.delete('trendDatabase');
  var db = new Dexie("trendDatabase");
  db.version(1).stores({
    trends: '++id,trendId,timestamp,value'
  });

  console.log ("Using Dexie v" + Dexie.semVer);

  // Query Database
  var result1 = await db.open();

  //add 1000 values for two trends

  var trendId1 = "FI-100";
  var trendId2 = "FI-200";
  var t1 = Date.now(); 
  for (var i=0; i<1000; i++) {
      var timestamp1 = t1 - (1000 + i) * 1000;
      var value1 = Math.sin(i/10)*8;
      var storeResult = await db.trends.add({trendId: trendId1, timestamp: timestamp1, value: value1});
      var value2 = Math.cos(i/100)*4;
      var storeResult = await db.trends.add({trendId: trendId2, timestamp: timestamp1, value: value1});
  }
  var t2 = Date.now();
  console.log("Took: ", t2 - t1);
  var t3 = Date.now();
  console.log("Took: ", t3 - t2);
  console.log(result3); 
  var result4 = db.delete();

}

最大的问题是存储速度有多慢。在我的笔记本电脑上，存储 2000 个数据点需要 52 秒(但检索 1000 个数据点只需要 11 毫秒)。在我的拥有 optane 存储的台式机上，存储大约需要 2 秒。无论哪种情况，这都太慢了。我需要能够每秒存储一次，因此我需要 < 1000 毫秒的存储速度，最好是 < 100 毫秒。

是否有更好的方法在indexedDb中构建时间序列数据？

我的一个想法是，我可以一次存储所有趋势的最新 100 点数据，然后为每个趋势写入 100 点数据 block (按每个趋势的循环顺序)，以减少写入调用的数量100 倍。这也使得检索最近的数据(在最后 100 秒内)时，当我只想要其中的一小部分时，我最终会获得所有 1000 个标签的值，所以我必须做一些过滤工作剔除不相关的数据。这种方法可能是可行的，但我想在经历所有麻烦之前询问社区，看看是否有更好的方法或任何其他项目/库来完成这样的事情。

Answer 1

很好，您发现可以使用 Table.bulkAdd() 代替 Table.add() (看到您自己对问题的回答)

对于查询部分，我理解您希望在查询中包含标签和时间范围。

我认为标签部分与 trendId 相同？

如果是这样，我建议您迁移架构以使用 [trendId+timestamp] 的复合索引，以提高查询效率。

还建议您将数据库实例保留在 start() 函数之外。在模块中声明它并导出它。

db.js

// db.js
export const db = new Dexie('trendDatabase');

db.version(1).stores({
  trends: '++id,trendId,timestamp,value'
});// (Keep version 1 if you or your users have it installed)

// Migrate schema:
db.version(2).stores({
  trends: '++id, [trendId+timestamp]'
});

查询.js

// query.js
import { db } from './db';

export function query(trendId, timeFrom, timeTo) {
  return db.trends
    .where('[trendId+timestamp]')
    .between([trendId, timeFrom], [trendId, timeTo])
    .toArray();
}

log.js

import { db } from './db';

export async function log(trends) {
  await db.trends.bulkAdd(trends);
}

如您所见，您只需对将在 where 子句中使用的属性建立索引。这并不意味着您可以为每个对象存储其他属性。