python - MongoDB 今日汇总记录

Question

我正在使用 MongoDB 聚合框架来聚合记录集合。

相关代码片段是:

Record._get_collection().aggregate([
        { "$match": {
            "system_id": system.id
        }},
...

如何将其转换为仅限今天的聚合记录？

Record 文档有一个 utc_timestamp 字段，所以我认为它会是这样的:

Record._get_collection().aggregate([
        { "$match": {
            "system_id": system.id,
            { "$dayOfMonth": "$utc_timestamp" }: 5
        }},
...

这是正确的吗？

Answer 1

为了获取当天的记录，您基本上仍然需要传递一个代表当天开始和要查找的范围结束的日期范围。假设您已在类(class)中使用 DateTimeField 实现了此功能那么 MongoDB 将使用 BSON date与日期聚合运算符兼容的类型:

Record._get_collection().Aggregate([
   { "$match": {
       "system_id": system.id,
       "utc_timestamp": { 
           "$gte": datetime.datetime(2014,9,6)
           "$lt": datetime.datetime(2014,9,7)
       }
   }},
   { "$group": {
        "_id": { "$dayOfYear": "$utc_timestamp" }
         ....

在 $group level 这些运算符通常在聚合大于一天的范围内的值或一天内按小时或分钟的值时最有意义。否则，由于已经选择了日期，因此一切都是当天，并且其他字段或 Null 值的任何聚合键本质上都是当天的聚合。

如果您实际上有一个代表自纪元以来的秒数的数字(BSON 类型实际上在内部使用自纪元以来的毫秒数)，那么您可以像这样构建查询:

Record._get_collection().Aggregate([
   { "$match": {
       "system_id": system.id,
       "utc_timestamp": { 
           "$gte": ( datetime.datetime(2014,9,6)
                  - datetime.datetime(1970,1,1)).total_seconds()
           "$lt": ( datetime.datetime(2014,9,7) 
                  - datetime.datetime(1970,1,1)).total_seconds()
       }
   }},
   { "$group": {
        "_id": { 
           "$subtract": [
              "$utc_timestamp",
              { "$mod": [
                  "$utc_timestamp",
                  60 * 60 * 24
              ]}
           ]
        },
        ...

或者类似地通过乘以 1000 来调整毫秒，这是一种更常见的纪元时间戳格式。对于分组，通过将匹配的时间戳值四舍五入到当天来应用标准“日期数学”。

最后，MongoEngine 支持 ComplexDateTimeField这使得微秒在 python 日期时间对象中通常可用。有点不幸的是，在这种情况下，MongoDB 中的实际存储是一个“字符串”，因此数学或一般日期运算符都不是真正可用的。但字符串的格式为 YYYY,MM,DD,HH,MM,SS,NNNNNN，它至少是“词汇”排序的，因此可以使用 $substr 进行范围选择和剖析。为了汇总到一天或其他时间段:

Record._get_collection().Aggregate([
   { "$match": {
       "system_id": system.id,
       "utc_timestamp": { 
           "$gte": "2014,09,06", "$lt": "2014,09,07"
       }
   }},
   { "$group": {
       "_id": { "$substr": [ "$utc_timestamp", 0, 10 ] }
       ...

但是，如果您使用任何其他形式的字符串，那么您将会遇到问题，因为它不太可能很好地转换为查询匹配或分组键选择。在这种情况下，您最好将任何此类字符串转换为使用上述形式之一，并且明显优先选择使用 native BSON 日期类型，因为这是最受支持的形式。