node.js - 找不到将 leveldb 转储到平面文件的有效方法

Question

我将 LevelDB 用作本地进程的一部分，当所有这些都完成后，它有大约 10-1 亿个 JSON 条目。

我需要将它们转换成一种可移植格式，最好是一个或多个 csv(或者甚至是行分隔的 json)文件，以导入到单独的 mongodb 系统中。

我在 node.js 中做了一个快速测试，将数据库内容流式传输到文件(使用 node-levelup ，在我的机器上，1000 万对花费了大约 18.5 分钟。看起来很慢。

寻找有关从 leveldb 更快转储/导出的建议。

我考虑过使用 mongodb 作为本地处理的存储，因为 mongoexport 快得多，但是在设置中有更多的开销，因为我需要多个分片来获得更快的速度在我的写作中。

Answer 1

检索 leveldb 中所有条目的最快方法是使用它的迭代器，可能 node-levelup 已经为此做了。

既然你还需要一个工具来解析导出的文件，我建议你只复制leveldb的数据目录作为导出文件。您可以打开它并在 python/ruby/... 中迭代它，只是任何具有 leveldb 包装器的脚本。