- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我有一个可能会非常大的收藏。现在我知道 MongoDB 并没有真正遇到这个问题,但我真的不知道如何着手设计一个可以轻松处理非常大的数据集的模式。因此,我将概述问题。
我们正在为客户收集大量数据。基本上,当我们收集这些数据时,它被表示为一个三元组,比方说 (a, b, c),其中 b 和 c 分别是集合 B 和 C 的成员。在这种特殊情况下,我们知道 B 和 C 集不会随时间增长太多。对于我们目前的客户,我们谈论的是约 200,000 名成员(member)。但是,A 集是随着时间不断增长的集。目前我们每个客户大约有 2,000,000 名成员,但这个数字将会增长(可能会很快)。此外,b->a 和 c->a 之间存在 1->n 关系。
此数据集的工作负载基本上分为 3 个用例。集合将定期更新,其中 A 将获得最多的写入,B 和 C 将获得一些,但不是很多。第二个用例是随机访问 B,然后聚合 C 中与 b\in B 相关的一些文档。最后一个用例基本上是从 A 和 B 流式传输一个大的子集以生成一些新数据。
我们面临的问题是索引越来越大。目前我们有大约 8 个小客户的测试设置,目前总数据集大小约为 15GB,索引运行在大约 3GB 到 4GB 之间。这里的问题是我们的数据集中实际上没有任何热点区域。它基本上会在所有文档中平均分配负载。
基本上,我们提出了 2 个选项来执行此操作。我在上面描述的那个,所有客户的所有数据都堆积在一个集合中。这意味着我们必须在某个字段中创建一个索引,将该集合中的文档链接到特定客户。
另一种选择是将所有 b 和 c 放在一起(这些集合相对较小),但将 C 集合分开,每个客户一个。我可以想象最后一个解决方案有点难以管理,但由于我们很少同时访问多个客户的数据,因此它可以防止内存问题。 MongoDB 将能够将客户索引加载到内存中并从那里运行。
你对此有何看法?
P.S.:我希望这不是太含糊,如果有任何不清楚的地方,我会详细介绍。
最佳答案
这听起来像是一个更大的集合(如果我没听错的话是 A),可以合理地放入它自己的数据库中。我说的是数据库而不是集合,因为现在 2.2 发布了,您可能希望尽量减少更繁忙的数据库与其他数据库之间的锁争用,为此最好使用一个单独的数据库(2.2 引入了数据库级锁定)。当然,这是从单个副本集模型来看的。
此外,索引大小听起来与您的数据大小有点不成比例 - 您确定它们都是必需的吗?修剪不需要的索引,组合和使用复合索引可能会显着减少您在索引增长方面遇到的痛苦(它也可能使更新和插入更有效率)。这确实需要具体细节,可能属于另一个问题,或者可能属于 mongodb 用户组中的一个线程,以便多只眼睛可以查看并提出建议。
如果我们考虑分片的可能性,那么真正重要的部分是选择一个分片键,以确保在分片上保留您经常需要一起访问的部分的位置。这将更适合于单个分片集合(在多个相关分片集合中保持局部性将非常棘手,除非您以某种方式手动拆分和平衡 block )。分片使您能够在索引达到单个实例限制等时水平扩展,但这将使分片键决策变得非常重要。
同样,选择分片键的细节超出了这个更一般性讨论的范围,类似于我上面提到的潜在索引审查。
关于python - 将大型收藏分成较小的收藏?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12210307/
目录 1.通过多个键值将对象进行排序 2.数据类别 3.列表推导 4.检查对象的内存使用情况 5.查找最频繁出现的值 6.属性包
概述 排序有内部排序和外部排序,内部排序是数据记录在内存中进行排序,而外部排序是因排序的数据很大,一次不能容纳全部的排序记录,在排序过程中需要访问外存。 我们这里说说八大排序就是内部排序。
1 用户名正则 ? 1
正则表达式用于字符串处理、表单验证等场合,实用高效。现将一些常用的表达式收集于此,以备不时之需。 匹配中文字符的正则表达式: [\u4e00-\u9fa5] 评注:匹配中文还真是个头疼的事,有了
用来循环容器的标签forEach,查看例子 foreach元素的属性主要有item,index,collection,open,separator,close。 item:集合中元素迭代时
JS的正则表达式 //校验是否全由数字组成 function isDigit(s) { var 
Docker 是一个基于Linux容器(LXC-linux container)的高级容器引擎,基于go语言开发,源代码托管在 Github 上, 遵从Apache2.0协议开源。Doc
整理了一下mysql基础命令,分享一下 ? 1
1、概述 在园子里面有很多关于各种技术细节的研究文章,都是比较牛逼的框架研究;但是一直没有看到关于怎么样提高开发效率的文章,大多提高开发效率的文章都是关于自动化等方面的辅助工具类型的,而不是开发
Python中的三角函数位于math模块内。 引入模块: import math 输出pi: import math print(math.pi) 得:3.141592653589793
网上关于SQL优化的教程很多,但是比较杂乱。近日有空整理了一下,写出来跟大家分享一下,其中有错误和不足的地方,还请大家纠正补充。 这篇文章我花费了大量的时间查找资料、修改、排版,希望大家阅读之后,
1、Oracle的启动和关闭 1、在单机环境下 要想启动或关闭ORACLE系统必须首先切换到ORACLE用户,如下 ?
我想在 Meteor 中设置一个在客户端和服务器之间同步的 session 绑定(bind)值。我认为这应该在 Collection 中完成,因为 Session 在客户端和服务器之间不同步,对吧?不
我想以编程方式将字符串资源添加到可执行文件。仅出于示例目的,假设我正在尝试添加一个名为“String SO”的字符串,它包含“stringVal”的值 如果这对任何人有帮助 - 如果我要通过 VS.n
我是 C# 的新手。在 ASP.NET 3.5 (C# 3.0) 中工作。为了开发有效的代码,我需要熟悉哪些集合类?像 IList,和对应的 IList , List , List够了吗? 非常感谢大
字符串中字符大小写的变换 1. str.lower() //小写 >>> 'SkatE'.lower() 'skate' 2. str.upper() //大写 >>
wtfPython是github上的一个项目,作者收集了一些奇妙的Python代码片段,这些代码的输出结果会和我们想象中的不太一样; 通过探寻产生这种结果的内部原因,可以让我们对Python里的一
1.连接数据库 普通用户连接数据库: conn scott/tiger –(默认的用户名/密码)、conn 即”connection”连接数据库的意思 超级管理员连接: Conn sys/s
通常,你需要获得当前日期和计算一些其他的日期,例如,你的程序可能需要判断一个月的第一天或者最后一天。你们大部分人大概都知道怎样把日期进行分割(年、月、日等),然后仅仅用分割出来的年、月、日等放在几个
我正在将一个 Swagger 规范文件导入 postman 以创建一个集合,这时,它可以按预期工作,并且该集合是随所有请求和子文件夹一起生成的,很好!但是,在更新api时,我需要更新 postman
我是一名优秀的程序员,十分优秀!