javascript - Upsert 性能随着集合(文档数量)的增加而降低

Question

用例:

我正在使用 REST Api，它提供视频游戏的战斗结果。这是一个团队对团队的在线游戏，每个团队由 3 名玩家组成，他们可以从 100 个不同的 Angular 色中选择不同的一个。我想计算每个团队组合的赢/输和平局数。我每秒获得大约 1000 个战斗结果。我连接每个团队的 Angular 色 ID(升序)，然后保存每个组合的赢/输和平局。

我目前的实现:

const combinationStatsSchema: Schema = new Schema({
  combination: { type: String, required: true, index: true },
  gameType: { type: String, required: true, index: true },
  wins: { type: Number, default: 0 },
  draws: { type: Number, default: 0 },
  losses: { type: Number, default: 0 },
  totalGames: { type: Number, default: 0, index: true },
  battleDate: { type: Date, index: true, required: true }
});

对于每个返回的日志，我执行一个 upsert 并将这些查询批量(5-30 行)发送到 MongoDB:

const filter: any = { combination: log.teamDeck, gameType, battleDate };
if (battleType === BattleType.PvP) {
  filter.arenaId = log.arena.id;
}
const update: {} = { $inc: { draws, losses, wins, totalGames: 1 } };
combiStatsBulk.find(filter).upsert().updateOne(update);

我的问题:

只要我的集合中只有几千个条目 combinationStats mongodb 只占用 0-2% cpu。一旦集合有几百万个文档(由于可能的组合数量，这很快就会发生)，MongoDB 会不断地占用 50-100% 的 cpu。显然我的方法根本不可扩展。

我的问题:

这些选项中的任何一个都可以解决我上面定义的问题:

1. 我能否优化上述 MongoDB 解决方案的性能，使其不占用太多 CPU？ (我已经为过滤的字段编制了索引，并批量执行了 upserts)。创建一个哈希值(基于我的所有过滤器字段)是否有助于过滤数据然后提高性能？
2. 是否有更好的数据库/技术适合汇总此类数据？我可以想象更多一些我想要/需要为给定标识符增加计​​数器的用例。

编辑: 在 khang 评论说它可能与 upsert 性能有关后，我用 $set 替换了我的 $inc，实际上表现同样“差”。因此我尝试了建议的 find() 然后手动 update() 方法，但结果并没有变得更好。

Answer 1

根据您的过滤条件创建哈希:

我能够将 CPU 从 80-90% 降低到 1-5%，并体验到更高的吞吐量。

显然过滤器是问题所在。而不是过滤这三个条件:{组合:log.teamDeck，gameType，battleDate} 我在我的 Node 应用程序中创建了一个 128 位哈希。我使用此哈希进行更新插入并将组合、gameType 和 BattleDate 设置为我的更新文档中的附加字段。

为了创建哈希，我使用了 metrohash 库，可以在这里找到:https://github.com/jandrewrogers/MetroHash .不幸的是，我无法解释为什么性能要好得多，尤其是因为我索引了我以前的所有条件。