mysql - 为什么 Sequelize 在 3120 条记录后暂停？

Question

我有一个用 Nodejs 编写的系统，它首先必须将非常大的 csv 文件中的记录导入数据库。使用Sequelize作为我的 ORM，我创建了一个简单的模型，如下所示:

"use strict";
const Sequelize = require('sequelize');
const sequelize = new Sequelize('mm', 'root', 'password', {
    host: 'localhost',
    dialect: 'mysql',
    logging: true,
    pool: {max: 5, min: 0, idle: 100000},
});
const Index = sequelize.define('index', {
    value: {type: Sequelize.FLOAT}
});

然后我编写了以下代码来遍历文件中的行，解释这些行，并将它们写入数据库:

let readline = require('readline');
let moment = require('moment');

let lineReader = readline.createInterface({
    input: require('fs').createReadStream('files/price_index.csv')
});

lineReader.on('line', function (line) {
    let splitted = line.split(',');
    let dt = moment(parseInt(splitted[0]));
    let value = parseFloat(splitted[1]);
    console.log(dt.format(), value);
    Index.create({value: value, createdAt: dt});
});

这工作正常，但它在每 3120 条记录后暂停约 3 秒。我尝试了 sqlite 和 mysql，但它总是在恰好 3120 条记录后暂停。

看到 Sequelize 也在那些 3120 条记录之后开始记录插入查询，我认为这种行为的原因是某种缓存机制，它将所有查询放入队列中，直到它无事可做，或者如果它达到了恰好 3120 条记录的神奇查询缓存限制。

我尝试在 Sequelize 的初始化中增加 pool.max 数字，但这似乎没有任何区别。

谁能证实我的缓存想法，或者解释一下这种行为的真正原因是什么？我能以某种方式改变这种行为，使其具有一致的吞吐量吗？欢迎所有提示!

Answer 1

我认为 3120 行将是 the high water mark for the createReadStream buffer which is 64KiB .当缓冲区已满时，Node 将停止读取。

看起来 3120 个 line 事件都在同一个 Node 事件 tick 上运行，因此您处理了 3120 行，并为下一个 tick 安排了 3120 个异步 Index.create 调用.因此，您最终需要在每一侧进行大量处理。要么读取和调度查询，要么处理大量的调度查询。

当 3120 line 事件函数完成时，会发生一些垃圾收集，并且计划的 3120 sequelize create 调用有机会执行它们的操作。这是数据中的“暂停”，但 Node 仍在处理。所有 create 调用都需要几秒钟才能完成，然后进行更多的垃圾收集并返回到下一个 csv 数据 block 及其所有 line 事件。这个过程就这样来回进行。

在一个包含 10000 行的 csv 文件中，我看到 ~ 3 个查询能够在所有 10000 行 csv 数据被读取并计划插入之前运行。

一致的吞吐量

您可能想使用 Readable Stream用更小的 block 。然后根据 sequelize 插入完成来阻止读取。您可能需要自己处理线路而不是使用 readline .如果 csv 文件适合内存，只需读取整个文件，因为调度会更容易。

也许使用类似 queue 的东西管理插入，允许您的 Sequelize 池 max 作为 concurrency。然后，一旦队列的 length 足够低，就允许读取再次发生。

虽然我不知道最终结果是否会更快，但最终结果可能非常相似。