MongoDB:使用 Map/Reduce 聚合数据

Question

我仍然不完全理解 map/reduce 是如何工作的，所以我想举一个我需要解决的问题的例子，希望答案能帮助我理解这个概念。

我正在使用与此类似的文档结构来跟踪页面浏览量:

{
    "timestamp" : 1299990045,
    "visitor" : {
        "region" : {
            "country_code" : "US",
        },
        "browser" : {
            "name" : "IE",
            "version" : "8.0",
        }
    },
    "referer" : {
        "host" : "www.google.com",
        "path" : "/",
        "query" : "q=map%2Freduce"
    }
}

我为每个页面 View 存储一个文档。因为我每天获得大约 1500 万的页面浏览量，所以我想每晚汇总这些结果，保存当天的汇总结果，然后删除集合以再次开始存储页面浏览量。我希望 map/reduce 的输出看起来像这样:

{
    "day" : "Sun Mar 13 2011 00:00:00 GMT-0400 (EDT)",
    "regions" : {
        "US" : 235,
        "CA" : 212,
        "JP" : 121
    },
    "browsers" : {
        "IE" : 145,
        "Firefox" : 245,
        "Chrome" : 95,
        "Other" : 120
    },
    "referers" : {
        "www.google.com" : 24,
        "yahoo.com" 56
    }
}

我真的不知道从哪里开始做这种事情。任何帮助将不胜感激。

Answer 1

编写 map-reduce 作业的典型过程是从您希望作为 reduce 输出的数据格式开始，构建一个输出它的 map 函数，然后是一个将它们相加的 reduce 函数。在你的例子中，你会做这样的事情:

function map() { 
    var date = new Date( this.timestamp.getFullYear(), 
                         this.timestamp.getMonth(),
                         this.timestamp.getDay() );
    var out  = { regions: {}, browsers: {}, referers: {} };
    out.regions[ this.visitor.region.country_code ] = 1; 
    out.browsers[ this.visitor.browser.name ] = 1;
    out.referers[ this.referer.host ] = 1; 
    emit( date, out);
}

function reduce( key, values ) { 
    var out = { regions: {}, browsers: {}, referers: {} };
    values.forEach(function(value) { 
      for( var region in value.regions ) { 
        if( out.regions[region] ) { 
          out.regions[ region ] += value[region];
        } else { 
          out.regions[ region ] = value[region];
        }
      };
      for( var browser in value.browsers ) { 
        if( out.browsers[browser] ) { 
          out.browsers[ browser ] += value[browser]; 
        } else { 
          out.browsers[ browser ] = value[browser]; 
        }
      };
      for( var referer in value.referers ) { 
        if( out.referers[ referer] ) { 
          out.referers[ referer ] += value[referer];
        } else {  
          out.referers[ referer ] = value[referer];
        } 
      }
    });
    return out; 
} 

最后，你应该有一个看起来像这样的输出集合:

{ 
  _id: "Sun Mar 13 2011 12:23:58 GMT-0700 (PDT)", 
  value: { 
    regions:  {
      "US" : 235,
      "CA" : 212,
      "JP" : 121
    },
    browsers: { 
      "IE" : 145,
      "Firefox" : 245,
      "Chrome" : 95,
      "Other" : 120 
    }, 
    referers: { 
      "www.google.com" : 24,
      "yahoo.com" 56
    } 
  } 
}

请注意，还有另一种方法可以执行此操作。除了执行 map reduce 作业之外，您还可以使用原子增量和更新插入来实时保留所有这些数据。

例如，每次生成一个页面 View 文档时，您也可以像这样进行更新:

db.pageviews.summaries.update( { _id: new Date( this.timestamp.getFullYear(), 
                                                this.timestamp.getMonth(),
                                                this.timestamp.getDay() ) },
                               { $inc : {
                                     'visitor.region.US' : 1,
                                     'visitor.browser.IE' : 1,
                                     'referer.www.google.com' : 1 
                                  }
                               },
                               true // upsert
                             );

这意味着您始终拥有最新的摘要文档，并且不需要任何 map reduce 作业。

请注意，您可能想要转义“.”在您的域名中，Mongo 会将其解释为文档的层次结构而不是属性名称。