javascript - Dynamodb 过滤器表达式未返回所有结果

Question

我想扫描过去 7 天的所有项目，所以我要做的是生成 7 天前的时间戳并过滤大于该值的时间戳。但是这次扫描返回了一些结果。

请参阅以下 Javascript:

const daysBack = (days) => {
  let date = new Date();
  date.setDate(date.getDate() - days);
  return date.getTime() ; 
}


const params = {
  TableName: process.env.DYNAMODB_TABLE,
  FilterExpression: "#ts > :z",
  ExpressionAttributeNames:{
      "#ts": "timestamp"
  },
  ExpressionAttributeValues: {
      ":z": daysBack(7)
  },
};

dynamoDb.scan(params, (error, result) => {
  // ... 
}

Answer 1

这是因为在 SCAN 操作 中，dynamoDb 只会发送最多 1mb 的数据。如果您想要的记录大小超过 1mb，则会自动分页。

如果您记录您的结果，那么您会发现一个名为 LastEvaluatedKey 的属性如果存在此属性，则您将不得不再次调用以获取剩余数据。此调用必须以递归方式实现，并且当 LastEvaluatedKey 属性不存在时您必须停止它。

让我们看一下这个例子，其中递归地获取项目数据，并将整个数据附加到数组中，然后发送。

let getFromDb = function (params, callback) {
    params.ConsistentRead = true;
    let projectCollection = [];
    dynamodbclient.scan(params, onQuery);

    function onQuery(err, data) {
        const methodName = 'onQuery';
        if (err) {
            callback(err);
            log.error(err, {
                class: className,
                func: methodName
            });
        } else {
            for (let i = constant.LENGTH_ZERO; i < data.Items.length; i++) {
                projectCollection.push(data.Items[i]);
            }
            if (typeof data.LastEvaluatedKey !== 'undefined') {
                params.ExclusiveStartKey = data.LastEvaluatedKey;
                dynamodbclient.scan(params, onQuery);
            } else {
                callback(err, projectCollection); //recursive call
            }
        }
    }
};