Cassandra /雷迪斯 : Way to create feed without Cassandra 'IN' secondary index?

Question

我的应用程序功能与 Cassandra 集成时遇到了一些问题。我正在尝试为我的用户 创建一个内容提要。用户可以创建帖子，而帖子又具有字段 user_id。我将 Redis 用于整个社交图，而将 Cassandra 列仅用于对象。在 Redis 中，用户 1 有一个名为 user:1:followers 的集合，其中包含他/她的所有关注者 ID。这些关注者 ID 对应于用户表中的 Cassandra ID 和帖子表中的 user_id。

我的目标最初是简单地将此 Redis 集中的所有 user_id 插入一个查询，该查询将使用 FROM posts WHERE user_id IN(此处为 user_ids) 并获取二级索引 user_id 中的所有帖子。问题是 Cassandra 故意不 support二级索引中的 IN 运算符，因为该索引将强制 Cassandra 在其所有节点中搜索该值。我只剩下两个选项:要么为帖子 ID 创建 user:1:follow_feed 的 Redis 列表，然后在单个查询中搜索 Cassandra 的主索引以查找这些帖子，要么保留它我现在的方式是为 user:1:follower 集合中的每个 user_id 运行单独的查询。

我真的反对第一个选项，因为我已经在 Redis 中拥有大量图形数据，而这个选项会为每个用户添加一个新列表。第二种方式更糟糕。我会给 Cassandra 带来巨大的读取负载，并且需要很长时间才能对一组 ID 运行单独的查询。据我所知，我有点进退两难。有什么方法可以查询多值二级索引吗？如果没有，与更多 Redis 列表或多个 Cassandra 查询的选项相比，是否有更有效的方式来加载这些内容提要(RAM 和速度方面)？提前致谢。

Answer 1

在不知道 posts 表(最好是其他表)的架构的情况下，很难提出任何有用的建议。

我不清楚为什么您需要将 user_id 作为二级索引，而不是您的主键。

一般来说，对创建它的用户的帖子等内容进行键控非常有用，因为它允许您非常高效地执行检索所有帖子(可选地在给定范围内，假设它们按时间顺序排序)等操作。

使用 Cassandra，如果您发现一个表可以有效地回答您想要执行的一些查询而不是其他查询，您通常最好对该表进行非规范化并创建另一个具有不同结构的表以保留您的查询到单个 CQL 分区和节点。

CREATE TABLE posts (
  user_id int,
  post_id int,
  post_text text,
  PRIMARY KEY (user_id, post_id)
  ) WITH CLUSTERING ORDER BY (post_id DESC)

该表可以回答如下查询:

 select * from posts where user_id = 1234;

 select * from posts where user_id = 1 and post_id = 53;

 select * from posts where user_id = 1 and post_id > 5321 and post_id < 5400;

post_id 上的反向聚类是通过将最近的帖子放置在 sstable 中物理分区的开头来使检索最近的帖子最有效。

在该示例中，user_id 是一个分区列，意味着“所有具有此 user_id 的 cql 行将被散列到同一个分区，因此是相同的物理节点，最终是相同的 sstables。这就是为什么可以

1. 检索具有该 user_id 的所有帖子，因为它们是连续存储的
2. 通过对 post_id 进行范围查询来检索它们的一部分
3. 通过提供分区列 (user_id) 和聚类列 (post_id) 来检索单个帖子

实际上，这变成了 HashMap 查找的 HashMap 。不过，一个主要的警告是，在使用分区和集群列时，您始终需要在查询中从左到右提供所有列，不要跳过任何列。因此，在这种情况下，这意味着您无法在不知道 post_id 所属的 user_id 的情况下检索单个帖子。这在用户代码中是可寻址的(通过存储反向映射并在必要时进行查找，或者通过将 user_id 编码到在您的应用程序周围传递的 post_id 中)，但绝对是需要考虑的事情。