javascript - 如何使用 Javascript 处理 Mongo shell 中文件中的数百万？

Question

比方说，我的文件有以下内容，位于/home/usr1/Documents/companyNames.txt

Name1

Name 2

Name 3

Millions of names...

我尝试了以下代码:

$> var string = cat('home/usr1/Documents/companyNames.txt');
$> string = string.split('\n');
$> db.records.find({field: {$in: string}});

根据链接中的代码Can I read a csv file inside of a Mongo Shell Javascript file?

如果文件很小，这会起作用，但是当文件有数百万行时，它就会失败。文件中的整行试图装入内存并崩溃。有没有其他方法可以使用 Java 脚本在 Mongo shell 中处理大文件？

Answer 1

Mongo 不太适合处理大型查询。

您可能必须采用 Javascript 方式:

var string = cat('home/usr1/Documents/companyNames.txt');
string = string.split('\n');
let results = [];
string.forEach(string => result.push(db.records.find({field: {$eq: string}})));