node.js - 在 EC2/Nodejs 后端 Redis/Varnish 中存储元数据和缓存 api 响应数据？

Question

我正在编写一个 nodejs 后端，它将根据类别发出一系列 http 请求，汇总结果，并将结果返回给移动客户端。

例如，需要将以下元数据保存在数据存储中

key: category1
value: {
  name: 'Cat 1 Name',
  requestUrls: [
    {name: 'Request url 1', url: 'http://reqfoo1/'},
    {name: 'Request url 2', url: 'http://reqfoo2/'},
    {name: 'Request url 3', url: 'http://reqfoo3/'},
    {name: 'Request url 4', url: 'http://reqfoo4/'},
    ....
    {name: 'Request url 50', url: 'http://reqfoo50/'}
  ]
}

key: category2
value: {
  name: 'Cat 2 Name',
  requestUrls: [
    {name: 'Request url 1', url: 'http://reqbar1/'},
    {name: 'Request url 2', url: 'http://reqbar2/'},
    {name: 'Request url 3', url: 'http://reqbar3/'},
    {name: 'Request url 4', url: 'http://reqbar4/'},
    ....
    {name: 'Request url 50', url: 'http://reqbar50/'}
  ]
}

由于任何类别都不会共享相同的 url，因此将其存储在键/值数据存储中可能是有意义的，这样我就可以快速访问要调用的 url。将有大约 1500 个类别，每个类别大约有 30-50 个要点击的 URL。

后端服务:API GET getAllDataByCategory(catId) 将

• 查询元数据，提取特定类别的值

• 异步遍历 requestUrls 并为每个 URL 发出 http 请求

• 聚合所有结果并将连接的结果返回给客户端。 (总计约 1000 项)

(注意:由于所有 url 都返回 XML，我还没有决定是否在服务器或客户端中将 JSON 解析为通用模型。我倾向于只从 API 返回聚合的 XML 字符串并在客户端中解析因为解析是一个受 CPU 限制的任务，会在 node.js 中阻塞

鉴于此

• 元数据(类别数据/url)每月大约只会更改两次

• 我不需要将聚合的 http 结果存储在数据存储中，但想缓存它们

• http 结果缓存应该在 1 分钟后失效。

• 我的后端将部署在 Amazon Web Services (EC2) 中

对于 A) 存储元数据，B) 缓存所有 http 请求的结果，什么是好的解决方案？

1. 元数据存储 - 哪个数据存储足以存储类别元数据？我可以只使用 Postgres 来存储键/值数据吗？或者我应该使用 mongo 还是 DynamoDB？或者我什至应该使用 Redis 持久性来存储它？

2. 鉴于我将元数据存储在存储中，将元数据缓存在 Redis 中会比在每个请求时查询数据库中的元数据更快吗？请记住，此数据每月只会更改两次。我可以使用 Redis 来缓存和存储元数据吗？

3. 存储聚合 XML(如果我决定在后端解析，则为 JSON)的最佳缓存机制是什么？缓存需要每分钟失效一次，我可以将缓存存储在下面的键/值中吗？有人说 Varnish 适合这个用例(尽管我不缓存文件)，有人说 Redis/memached 适合这个用例(更喜欢 Redis 而不是 memcached)

   键:类别 1value: item1.....item 1000的数据

这基本上就是我想要实现的目标

1. 用户在客户端请求类别 1 的数据

2. 客户端向服务器请求 API getAllDataByCategory(cat1)

3. 首先查找cat1的缓存聚合响应数据，如果可用且未过期，则将其返回给客户端

4. 如果没有可用的响应数据缓存，则查找 cat1 的元数据(首先查找元数据缓存，如果元数据缓存不可用，则查找数据库)

5. 从元数据中调用所有URL，聚合结果，缓存数据，然后返回给客户端

6. 如果每分钟有 500 个客户端请求，除非分钟已过期，否则所有请求都使用缓存。

我准备好研究我需要做的任何事情，但是如果有人能给我一些指导，告诉我该去哪里，或者在类似的情况下哪种技术对他们做得很好，我将不胜感激。请记住，我使用的是 AWS，他们提供 elasticache (Redis/memached)，所以也许这是要走的路？

谢谢!!

Answer 1

Elasticache/redis 应该足以处理 A) 存储元数据和 B) 缓存所有 http 请求的结果。亲吻。