mysql - 将MySQL数据迁移到Firebase的有效方法

Question

这个问题已经有答案了:

MySQL skip first 10 results (8 个回答)

已关闭 4 年前。

我需要将大约 250 万行从 MySQL 迁移到 Firebase，并寻找使用 NodeJS 实现此目的的有效方法。

在 MySQL 数据库中，某些列是 BLOB 类型，因此我需要将它们转换为文本。我正在使用 CONVERT 函数，因此示例查询将如下所示:

SELECT 
    FLOOR((id >> 8) / 1000) AS 'createdAt',
    CONVERT( log_1 USING utf8mb4) AS 'log_1',
    CONVERT( log_2) AS 'log_2',
    m.direction as 'direction'
FROM
    table;

这是我的第一个问题，有没有办法在几次迭代中获取某些批处理的数据，而不是在一个事务中获取所有 250 万行？类似于 MSSQL 中的 SKIP TAKE？

有了来自 MySQL 的所有数据，我需要将它们转换为某种结构，按某些属性进行分组，并最终将它们存储在 Firebase 中。最有效的方法是什么？我想只有一个 for..loop 并通过调用 set 函数逐个保存文档不会有效。

await fb.collection('test').doc().set(chatCollection[i])

Answer 1

我只需执行您需要的 SQL 查询并将所有数据导出到文件(例如 csv)中。这样，如果它们损坏了，您就不用担心它们了。

然后批量读取文件并批量插入到 firebase 中。

https://firebase.google.com/docs/firestore/manage-data/transactions

如果您有 SQL 格式的文件，请将它们存储到 Blob 存储中，并有来自 Firebase 文档的链接。

250 万条记录并不是什么大的事情，所以这应该很快就能做到:)。祝你好运!