- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我对 NoSQL 数据库还是个新手,多年来一直在使用 RDBMS(Oracle、MySQL)。现在,我们正在考虑将我们的一个数据库迁移到内存中的 NoSQL DB,并且我们坚持使用最佳设计方法。
我们正在考虑 Redis,但它是与其他键值存储(如 RocksBD 或 LMDB)结合使用还是最好单独使用将取决于我从您那里收到的建议。 (您可以就解决我们问题的完全不同的方法提出建议)。
要迁移到内存中 NoSQL 的表包含人口统计数据(例如名字、姓氏、地址、出生日期、原籍国等大约 40 个不同的人口统计字段)和生物特征数据(例如照片、签名和所有 10 个指纹)。
查询将在人口统计数据上运行,例如检索 where firstname = 'jones' and lastname = 'Andre' and DateofBirth > 13 sept 1984
我们可以非常轻松地在 Redis 键值存储中保存所有内容(包括照片、签名、指纹和所有人口统计信息),但我们担心它需要大量的 RAM,尤其是因为数据库最终会增长到大约 2 亿条记录.因此,我们考虑在 Redis 中存储一些经常被搜索的人口统计数据(例如名字、姓氏、出生日期等),然后将其余数据存储在键值存储中,例如 LMDB 或 RocksDB(因为这自然需要很长时间内存比 redis 少)。在此实现中,当有人希望检索 firstname=jones 和 lastname=mark 时,它会搜索 redis,获取检索到的记录的 id,然后从键值存储(lmdb 或 rocksDB)中检索这些记录。
我们主要担心读取性能,很少担心写入性能。我们希望阅读速度非常快。
这是一种好的设计方法吗?或者有人可以建议更好的设计方法来实现更好的性能。请记住,目标是最小化 RAM 需求并获得非常好的读取性能。
顺便说一句,将这种性质的生物特征存储在内存中甚至是一种好方法吗?
如何解决此类挑战?
另请注意,虽然我们查询人口统计的子集,进行检索,但我们主要检索的是整个数据集。 (也就是说,对于每个匹配的个体,我们都会检索人口统计和生物特征)
最佳答案
我非常喜欢 Redis,因为它是一种出色的存储和索引工具。据我所知,您的要求并不真正适合 100% NoSQL 设计。
我可能会建议将数据保留在 SQL 上并使用 Redis 构建复合索引。获取 PK 查找超快速 SQL (PostgreSQL) 并在 Redis 中通过 PK 索引您的数据。你不会有任何内存使用问题,一切都会以运行多个 PK 查询来获取大量数据而告终。或者您可以应用一种策略来仅索引/缓存 CHARS 列,并在 SQL 中保留图像和超大值。或者临时缓存已访问的大小数据并逐出最近未访问数据的键。
关于内存,你说的是用Redis Cluster解决的。
[更新] 通常我会尝试为每个需要索引的值创建一个 Redis 键;如果您需要为字符串编制索引,请使用单评分排序集并利用 ZINDEXBYRANGE
,对于日期时间,您可以将分数设置为时间戳并使用 ZRANGEBYSCORE
。根据您的访问/存储模式,您可以决定存储部分数据并将大部分数据保留在 SQL 中。关于速度,我真的不能说,因为这取决于您决定如何设计键/值以及您可以为任务分配多少 RAM。
关于database-design - NoSQL(Redis)设计建议,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46276275/
我是一个相对较新的程序员; CS 学士学位,大学毕业大约 2 年,主要使用 C# 中的 .NET。我对 SQL 交互/脚本编写相当流利,并且对 ASP.NET 做了一些工作(主要是维护现有站点)。 我
我计划开发一个简单的解决方案,使我能够即时执行非常基本的视频流分析。我以前从未做过类似的事情,因此这是一个非常笼统和开放的问题。主要重点是检查流是否正常运行,例如 - 卡住帧、黑屏以及音频是否存在。同
我正在考虑重组一个大型 Maven 项目...... 我们当前结构的基本概述: build [MVN plugins, third party dependency management]:5.1
我需要有关附加查询的建议。该查询执行了一个多小时,并根据解释计划进行了全表扫描。我对查询调优还很陌生,希望得到一些建议。 首先,为什么我要进行全表扫描,即使我使用的所有列都在其上创建了索引。 其次,有
我正在做一个项目,我需要在 4 个模型之间创建三个多对多关系。这是它的过程: 常见问题类别可以有许多常见问题子类别,反之亦然。 常见问题组可以有许多常见问题的子类别,反之亦然。 常见问题可以有许多常见
对于代码大小比语音质量更重要的 PIC 和/或 ARM 嵌入式系统,是否有任何易于使用的免费或廉价的语音合成库?现在似乎 1 meg 的封装被认为是“紧凑的”,但很多微 Controller 都比它小
我们正在使用 Solr 建议器功能进行 businessName 查找。当用户输入查询以及匹配的名称时,我们希望 solr 发送来自个人资料的其他属性,如 id、地址、城市、州、国家等字段。 我尝试使
我正在构建一个用户界面。我的计划将包括 4 个主要部分: 1) 顶部菜单 - TMainMenu。一个窗口的顶部 2) 主菜单 - TTreeView。一个窗口的左边。 TreeView的每一项=对应
我的公司需要一个任务管理系统来处理从“为X购买一台计算机”到“将一个人转移到另一个国家”这样简单的场景。简单的场景是由一个人处理的单个任务,而更大的任务可以分解为在工作流程中委派给多个人的多个子任务。
MarkLogic 服务器的林大小与实际内存的建议比率是多少?例如,我目前有一个 190GB 的数据库,并且该数据库随着时间的推移而不断增长。由于数据库会不断增长,我最终需要对该数据库进行集群。因此,
去年我收到了一个礼物,它是一个索尼 CMT700Ni 音频站,支持 wifi。它还具有类似于广播的功能,称为“PartyStreaming”。我目前正在挖掘内部,探索它,所以也许我可以结束拥有自己的“
有没有我可以阅读的研究论文/书籍可以告诉我针对手头的问题哪种特征选择算法最有效。 我试图简单地将 Twitter 消息识别为 pos/neg(首先)。我从基于频率的特征选择开始(从 NLTK 书开始)
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的,
我正在浏览 stackoverflow 以查找有关使用 jUnit 进行测试的常见建议,但仍然有几个问题。我知道,如果要测试的方法很复杂,最好的方法是将其分成小的单独部分并测试每个部分。但问题是 -
我有一个方法如下 public List> categorize(List customClass){ List> returnValue = new ArrayList<>();
我的问题是,当按照下面的程序合并时,在最佳实践场景中,“将分支折叠回主干”程序的最后一步是正确的方法吗? 我已经使用 svn 很多年了。在我的个人项目中,我总是毫不犹豫地在主干上愉快地进行修改,并且在
我读过 UINavigationController当您想从 n 个屏幕跳转到第一个屏幕时,这是最佳选择。这样做需要以下代码: NSMutableArray *array=[[NSMutableArr
我有一个文件输入类。它在构造函数中有一个字符串参数来加载提供的文件名。但是,如果文件不存在,它就会退出。如果文件不存在,我希望它输出一条消息 - 但不确定如何...... 这是类(class): pu
我希望创建一个“您访问过的国家/地区” map - 就像您可能在 Facebook、TravelAdvisor 和诸如此类的网站上看到的那样。 我尝试过不同的闪光灯套件,但它们并不像我希望的那样先进。
我需要一些关于如何处理我想用 Perl 编写的脚本的建议。基本上我有一个看起来像这样的文件: id: 1 Relationship: "" name: shelby pet: 1
我是一名优秀的程序员,十分优秀!