node.js - 如何在大型 Cassandra 集合中高效查询数据？

Question

我有一个很大的 Casandra 集合(100 万个文档)，我想查询整个用户表数据及其大约 100 万条记录。当我运行以下查询时，它只返回大约 10K 条记录。

能否请您告诉我从 Casandra 集合中查询整个文档的有效方法是什么

我正在使用 https://www.npmjs.com/package/cassandra-driver npm 作为 casandra 驱动程序

 Tried 

  const query = 'select * from users';
  db.users.executeQuery(query)
  .then(function (result2) {

  })
  .catch (function (error) {
    reject(error);
  });

Answer 1

为什么您不能一次检索所有数据是因为您可以一次读取的项目数量有限制，这是可以理解的。

查看 documentation您应该使用 stream 或 eachRow 方法。这允许您在多个迭代中处理集合的条目。

---

client.stream(query, parameters, options)
  .on('readable', function () {
    // readable is emitted as soon a row is received and parsed
    let row;
    while (row = this.read()) {
      // process row
    }
  })
  .on('end', function () {
    // emitted when all rows have been retrieved and read
  });

或者

client.eachRow(query, parameters, { prepare: true, autoPage : true }, function(n, row) {
   // Invoked per each row in all the pages
}, callback);