个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
26
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章MongoDB聚合分组取第一条记录的案例与实现方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
前言 。
今天开发同学向我们提了一个紧急的需求，从集合mt_resources_access_log中，根据字段refererDomain分组，取分组中最近一笔插入的数据，然后将这些符合条件的数据导入到集合mt_resources_access_log_new中.
接到这个需求，还是有些心虚的，原因有二，一是，业务需要，时间紧；二是，实现这个功能MongoDB聚合感觉有些复杂，聚合要走好多步.
数据记录格式如下:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
|
记录1
{
"_id"
: ObjectId(
"5c1e23eaa66bf62c0c390afb"
),
"_class"
:
"C1"
,
"resourceUrl"
:
"/static/js/p.js"
,
"refererDomain"
:
"1234"
,
"resourceType"
:
"static_resource"
,
"ip"
:
"17.17.13.13"
,
"createTime"
: ISODate(
"2018-12-22T19:45:46.015+08:00"
),
"disabled"
: 0
}
记录2
{
"_id"
: ObjectId(
"5c1e23eaa66bf62c0c390afb"
),
"_class"
:
"C1"
,
"resourceUrl"
:
"/static/js/p.js"
,
"refererDomain"
:
"1234"
,
"resourceType"
:
"Dome_resource"
,
"ip"
:
"17.17.13.14"
,
"createTime"
: ISODate(
"2018-12-21T19:45:46.015+08:00"
),
"disabled"
: 0
}
记录3
{
"_id"
: ObjectId(
"5c1e23eaa66bf62c0c390afb"
),
"_class"
:
"C2"
,
"resourceUrl"
:
"/static/js/p.js"
,
"refererDomain"
:
"1235"
,
"resourceType"
:
"static_resource"
,
"ip"
:
"17.17.13.13"
,
"createTime"
: ISODate(
"2018-12-20T19:45:46.015+08:00"
),
"disabled"
: 0
}
记录4
{
"_id"
: ObjectId(
"5c1e23eaa66bf62c0c390afb"
),
"_class"
:
"C2"
,
"resourceUrl"
:
"/static/js/p.js"
,
"refererDomain"
:
"1235"
,
"resourceType"
:
"Dome_resource"
,
"ip"
:
"17.17.13.13"
,
"createTime"
: ISODate(
"2018-12-20T19:45:46.015+08:00"
),
"disabled"
: 0
}
|
以上是我们的4条记录，类似的记录文档有1500W.
因为情况特殊，业务发版需要这些数据。催的比较急，而 通过 聚合 框架aggregate，短时间有没有思路， 所以，当时就想着尝试采用其他方案.
最后，问题处理方案如下.
Step 1 通过聚合框架 根据条件要求先分组，并将新生成的数据输出到集合mt_resources_access_log20190122 中（共产生95笔数据）； 。
实现代码如下:
|
1
2
3
4
5
6
7
8
|
db.log_resources_access_collect.aggregate(
[
{ $
group
: { _id:
"$refererDomain"
} },
{ $
out
:
"mt_resources_access_log20190122"
}
]
)
|
Step 2 通过2次 forEach操作，循环处理 mt_resources_access_log20190122和mt_resources_access_log的数据.
代码解释，处理的逻辑为，循环逐笔取出mt_resources_access_log20190122的数据（共95笔），每笔逐行加工处理，处理的逻辑主要是 根据自己的_id字段数据（此字段来自mt_resources_access_log聚合前的refererDomain字段）， 去和 mt_resources_access_log的字段 refererDomain比对，查询出符合此条件的数据，并且是按_id 倒序，仅取一笔，最后将Join刷选后的数据Insert到集合mt_resources_access_log_new.
新集合也是95笔数据.
大家不用担心性能，查询语句在1S内实现了结果查询.
|
1
2
3
4
5
6
7
8
9
|
db.mt_resources_access_log20190122.find({}).forEach(
function
(x) {
db.mt_resources_access_log.find({
"refererDomain"
: x._id }).sort({ _id: -1 }).limit(1).forEach(
function
(y) {
db.mt_resources_access_log_new.
insert
(y)
}
)
}
)
|
Step 3 查询验证新产生的集合mt_resources_access_log_new，结果符合业务要求.
刷选前集合mt_resources_access_log的数据量为1500多W.
刷选后产生新的集合mt_resources_access_log_new 数据量为95笔.
注意：根据时间排序的要求，因为部分文档没有createTime字段类型，且 createTime字段上没有创建索引，所以未了符合按时间排序我们采用了sort({_id:1})的变通方法，因为_id 还有时间的意义。下面的内容为MongoDB对应_id 的相关知识.
最重要的是前4个字节包含着标准的Unix时间戳。后面3个字节是机器ID，紧接着是2个字节的进程ID。最后3个字节存储的是进程本地计数器。计数器可以保证同一个进程和同一时刻内不会重复.
总结 。
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我的支持.
原文链接：http://www.cnblogs.com/xuliuzai/p/10306578.html 。
最后此篇关于MongoDB聚合分组取第一条记录的案例与实现方法的文章就讲到这里了,如果你想了解更多关于MongoDB聚合分组取第一条记录的案例与实现方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
26
4
0
我有一个网站。 必须登录才能看到里面的内容。 但是，我使用此代码登录。 doc = Jsoup.connect("http://46.137.207.181/Account/Login.aspx")
我正在尝试为我的域创建一个 SPF 记录并使我的邮件服务器能够对其进行评估。我在邮件服务器上使用 Postfix 并使用 policyd-spf (Python) 来评估记录。目前，我通过我的私有(p
我需要为负载平衡的 AWS 站点 mywebsite.com 添加 CName 记录。记录应该是: @ CNAME mywebsite.us-east-1.elb.amazon
我目前正在开发一个相当大的多层应用程序，该应用程序将部署在海外。虽然我希望它在解聚后不会折叠或爆炸，但我不能 100% 确定这一点。因此，如果我知道我可以请求日志文件，以准确找出问题所在以及原因，那就
我使用以下命令从我的网络摄像头录制音频和视频 gst-launch-0.10 v4l2src ! video/x-raw-yuv,width=640,height=480,framerate=30/1
我刚刚开始使用 ffmpeg 将视频分割成图像。我想知道是否可以将控制台输出信息保存到日志文件中。我试过“-v 10”参数，也试过“-loglevel”参数。我在另一个 SO 帖子上看到使用 ffmp
我想针对两个日期查询我的表并检索其中的记录。 我这样声明我的变量； DECLARE @StartDate datetime; DECLARE @EndDate datetime; 并像这样设置我的变量
在 javascript 中，我可以使用简单的 for 循环访问对象的每个属性，如下所示 var myObj = {x:1, y:2}; var i, sum=0; for(i in myObj) s
最近加入了一个需要处理大量代码的项目，我想开始记录和可视化调用图的一些流程，让我更好地理解一切是如何组合在一起的。这是我希望在我的理想工具中看到的: 每个节点都是一个函数/方法 如果一个函数可以调用另
如何使用反射在F#中创建记录类型？谢谢 最佳答案 您可以使用 FSharpValue.MakeRecord [MSDN]创建一个记录实例，但是我认为F#中没有任何定义记录类型的东西。但是，记录会编译为
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。 3年前关闭。 Improve thi
我是 Sequelize 的新手并且遇到了一些语法问题。我制作了以下模型: // User sequelize.define('user', { name: { type: DataTyp
${student.name} Notify 这是我的output.jsp。请注意，我已经放置了一个链接“Notify”以将其转发到 display.jsp 上。但我不确定如何将 Stud
例如，这是我要做的查询: server:"xxx.xxx.com" AND request_url:"/xxx/xxx/xxx" AND http_X_Forwarded_Proto:(https O
我一直在开发大量 Java、PHP 和 Python。所有这些都提供了很棒的日志记录包(分别是 Log4J、Log 或logging)。这在调试应用程序时有很大帮助。特别是当应用程序 headless
在我的Grails应用程序中，我异步运行一些批处理过程，并希望该过程记录各种状态消息，以便管理员以后可以检查它们。 我考虑过将log4j JDBC附加程序用作最简单的解决方案，但是据我所知，它不使用D
我想将进入 MQ 队列的消息记录到数据库/文件或其他日志队列，并且我无法修改现有代码。是否有任何方法可以实现某种类似于 HTTP 嗅探器的消息记录实用程序？或者也许 MQ 有一些内置的功能来记录消息？
如果我有一条包含通用字段的记录，在更改通用字段时是否有任何方法可以模仿方便的 with 语法？ 即如果我有 type User = // 'photo can be Bitmap or Url {
假设我有一个名为 Car 的自定义对象。其中的所有字段都是私有(private)的。 public class Car { private String mName; private
当记录具有特定字段时，我需要返回 true 的函数，反之亦然。示例: -record(robot, {name, type=industrial, ho
我是一名优秀的程序员,十分优秀！