mongodb - Kotlin <--> Mongo 缓存

Question

我们的后端是用 Kotlin 编写的。数据位于 MongoDB 中。

我们做了一些分析，发现当前的瓶颈问题是 MongoDB 和 Kotlin 后端之间传输的数据过多。

get_by_id() 一次又一次地获取相同的数据。

我们考虑将所有 get_by_id() 调用缓存在内存缓存中(由该节点的所有线程共享)。这样，节点上的所有线程都可以从该缓存中更快地访问数据中受益。

下一步是实现缓存失效。所有修改都需要更新内存缓存。

在实现这个之前，我想知道有哪些不同/更好的方法来实现这个。

如何优化代码一次又一次从 MongoDB 获取相同数据的事实？

Answer 1

您可以通过多种方法来优化后端，以最大程度地减少向数据库系统的数据传输。

使用内存缓存系统

正如您在问题中提到的，内存缓存将极大地帮助您解决后端瓶颈问题。使用性能优化的键值存储，如 redis如果使用得当，会非常有用。通过仅在需要时刷新缓存，您可以让缓存系统减轻数据库的大量负载，并更快地向后端发出请求。然而，在工作系统中实现缓存验证可能并不那么容易。 Redis 的一个优点是，由于其 NoSQL 性质，它可以与 MongoDB 完美协调。您可能想看看 redis 中的哈希表/存储，它们与 JSON 文档非常相似(尽管它们只能是一层深/没有嵌套对象)。如果更适合您的需求，您还可以将 JSON 作为字符串值存储在键中。 redis的另一个特性是缓存自动过期，因此可以设置过期时间，以便于缓存控制。

使用更智能的身份验证技术

虽然很难从您的问题中看出，但通过优化用户身份验证和数据存储在客户端请求后端的方式，通常可以显着减少数据库的流量。例如，通过使用 JWT Tokens作为身份验证机制，您可以使用 token 存储用户数据，允许客户端跨页面保存数据，更重要的是，无需向后端发出任何额外请求。这些 token 无法被操纵，因为它们具有只有您的服务器知道的安全签名，但任何人都可以读取它们；因此，如果您要存储敏感数据，最好将其转移到其他地方。与 Redis 缓存 key 一样，JWT token 可能会在设定的时间后过期，但它们仍然无限期地可读。

使用集成缓存和性能优化

与许多其他数据库系统一样，MongoDB 提供开箱即用的集成缓存和性能优化 indexing certain entries 。虽然 Redis 可能是一个更好的长期解决方案，但正确地为数据库建立索引可以对性能产生巨大的影响，这就是为什么许多公司都有开发人员致力于优化表布局、结构和索引的原因。

使用正确的查询

特别是对于像 MongoDB 这样的 NoSQL 数据库，高效的查询是关键。对于这样的数据库系统来说，连接是相当繁重的工作负载，因此研究您所做的查询及其背后的逻辑可能会有所帮助。通过优化现有查询并排除冗余查询，数据库负载也可以最小化。

使用合适的文档结构

虽然像 MongoDB 这样的基于 JSON 的文档存储系统有其优点，但滥用没有关于如何结构化数据的指导方针的舒适感通常会导致更多的请求，因为最需要的数据并不是最容易访问的。同样，很难从您的问题中看出，但请看一下您的查询和文档结构(如果有的话):这些请求感觉自然吗？它们有道理吗？或者当前的结构是否具有阻碍性？

将逻辑推送到客户端

作为我的最后建议，您应该尝试将尽可能多的非敏感和非性能密集型逻辑移至客户端(趋势 modern frameworks 似乎遵循)，以减轻数据库的痛苦并让客户端不再请求一遍又一遍的数据。特别是如果您正在运行网络应用程序，这可能是不必要流量的主要来源。