gpt4 book ai didi

database-design - NoSQL(Redis)设计建议

转载 作者:可可西里 更新时间:2023-11-01 10:54:40 24 4
gpt4 key购买 nike

我对 NoSQL 数据库还是个新手,多年来一直在使用 RDBMS(Oracle、MySQL)。现在,我们正在考虑将我们的一个数据库迁移到内存中的 NoSQL DB,并且我们坚持使用最佳设计方法。

我们正在考虑 Redis,但它是与其他键值存储(如 RocksBD 或 LMDB)结合使用还是最好单独使用将取决于我从您那里收到的建议。 (您可以就解决我们问题的完全不同的方法提出建议)。

要迁移到内存中 NoSQL 的表包含人口统计数据(例如名字、姓氏、地址、出生日期、原籍国等大约 40 个不同的人口统计字段)和生物特征数据(例如照片、签名和所有 10 个指纹)。

查询将在人口统计数据上运行,例如检索 where firstname = 'jones' and lastname = 'Andre' and DateofBirth > 13 sept 1984

我们可以非常轻松地在 Redis 键值存储中保存所有内容(包括照片、签名、指纹和所有人口统计信息),但我们担心它需要大量的 RAM,尤其是因为数据库最终会增长到大约 2 亿条记录.因此,我们考虑在 Redis 中存储一些经常被搜索的人口统计数据(例如名字、姓氏、出生日期等),然后将其余数据存储在键值存储中,例如 LMDB 或 RocksDB(因为这自然需要很长时间内存比 redis 少)。在此实现中,当有人希望检索 firstname=jones 和 lastname=mark 时,它会搜索 redis,获取检索到的记录的 id,然后从键值存储(lmdb 或 rocksDB)中检索这些记录。

我们主要担心读取性能,很少担心写入性能。我们希望阅读速度非常快。

  1. 这是一种好的设计方法吗?或者有人可以建议更好的设计方法来实现更好的性能。请记住,目标是最小化 RAM 需求并获得非常好的读取性能。

  2. 顺便说一句,将这种性质的生物特征存储在内存中甚至是一种好方法吗?

  3. 如何解决此类挑战?

另请注意,虽然我们查询人口统计的子集,进行检索,但我们主要检索的是整个数据集。 (也就是说,对于每个匹配的个体,我们都会检索人口统计和生物特征)

最佳答案

我非常喜欢 Redis,因为它是一种出色的存储和索引工具。据我所知,您的要求并不真正适合 100% NoSQL 设计。

我可能会建议将数据保留在 SQL 上并使用 Redis 构建复合索引。获取 PK 查找超快速 SQL (PostgreSQL) 并在 Redis 中通过 PK 索引您的数据。你不会有任何内存使用问题,一切都会以运行多个 PK 查询来获取大量数据而告终。或者您可以应用一种策略来仅索引/缓存 CHARS 列,并在 SQL 中保留图像和超大值。或者临时缓存已访问的大小数据并逐出最近未访问数据的键。

关于内存,你说的是用Redis Cluster解决的。

[更新] 通常我会尝试为每个需要索引的值创建一个 Redis 键;如果您需要为字符串编制索引,请使用单评分排序集并利用 ZINDEXBYRANGE,对于日期时间,您可以将分数设置为时间戳并使用 ZRANGEBYSCORE。根据您的访问/存储模式,您可以决定存储部分数据并将大部分数据保留在 SQL 中。关于速度,我真的不能说,因为这取决于您决定如何设计键/值以及您可以为任务分配多少 RAM。

关于database-design - NoSQL(Redis)设计建议,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46276275/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com