aerospike - Aerospike设计|申请流程内部|资源

Question

从客户端API触发后，在哪里可以找到有关集群中读写请求的流向的信息？

在Aerospike配置文档(http://www.aerospike.com/docs/reference/configuration)中，提到了有关事务队列，服务线程，事务线程等，但体系结构文档中未进行讨论。我想了解它的工作原理，以便可以对其进行相应的配置。

Answer 1

从客户端到群集节点

在您的应用程序中，记录的key是3元组(命名空间，集合，标识符)。对于所有键值方法(例如client和get)，键都将传递给put。

然后，客户端通过RIPEMD-160对 key 的(集合，标识符)部分进行哈希处理，从而得出20B摘要。该摘要是Aerospike群集的指定record中namespace的实际唯一标识符。每个 namespace 都有4096 partitions，分布在群集的各个节点上。

客户端uses 12 bits of the digest确定此特定 key 的分区ID。客户端使用分区图查找拥有与分区ID对应的主分区的节点。随着群集的增长，查找正确节点的成本保持不变(O(1))，因为它不依赖于记录数或节点数。

客户端将操作及其数据转换为Aerospike wire protocol消息，然后使用其池中的现有TCP连接(或创建一个新的TCP连接)将消息发送到正确的节点(该节点持有此分区ID的主副本)。

服务线程和事务队列

当操作消息作为NIC transmit/receive queue中断出现时，
service thread从NIC接收消息。接下来发生的情况取决于此操作应针对的 namespace 。如果它是内存中的 namespace ，则服务线程将执行以下所有步骤。如果它是一个数据存储在SSD上的命名空间，则服务线程会将操作放在transaction queue上。队列的transaction threads之一将执行以下步骤。

主索引查找

每个记录在内存中的primary index中都有一个64B元数据条目。主索引表示为sprigs per-partition的集合，每个小枝都实现为red-black tree。

线程(如上所述，事务线程或服务线程)从记录的摘要中找到分区ID，然后跳到该分区的正确分支。

存在，读取，更新，替换

如果该操作存在，读取，更新或替换，则该线程获取记录锁定，在此期间其他操作将等待访问特定的小枝。这是生命周期很短的锁。线程在红黑树间移动，以查找具有该摘要的条目。如果操作是exists，并且元数据条目确实存在，则线程将打包适当的消息并作出响应。对于读取，线程将使用指针元数据从namespace storage中读取记录。

更新需要如上所述读取记录，然后合并到bin数据中。替换类似于更新，但是它会跳过首先读取当前记录的过程。如果 namespace 在内存中，则服务线程会将修改后的记录写入内存。如果 namespace 存储在SSD上，则将合并的记录放置在streaming write buffer中，等待flush到存储设备。调整主索引中的元数据条目，将其指针更新为记录的新位置。 Aerospike执行写时复制以创建/更新/替换。

如果命名空间的replication factor大于1，则还需要将更新和替换传达给副本。在记录锁定过程之后，该操作也将驻留在RW哈希(序列化器)中，而副本写入完成。这是同一记录上的其他事务将排队的地方，直到它们达到transaction pending limit(又称为hot key)为止。副本写操作由另一个线程(rw-receive)处理，释放事务或服务线程以继续进行下一个操作。副本写入完成后，将释放RW哈希锁，并且rw-receive线程将打包回复消息并将其发送回客户端。

创建和删除

如果操作是正在写入的新记录或正在删除的记录，则需要修改分区小枝。

像更新/替换一样，这些操作将获取记录级锁定，并将通过RW哈希。因为他们从代表小 Twig 的红黑树中添加或删除了元数据条目，所以他们还必须获得索引树归约锁定。当 namespace 主管线程找到expired records并将其从主索引中删除时，也会发生此过程。创建操作会将元素添加到分区小枝。

如果 namespace 存储在SSD上，则创建会将记录加载到流式写缓冲区中，等待刷新到SSD并在副本写之前。它将更新主索引中的元数据条目，并调整其指向新块的指针。

删除操作将从主索引的分区小枝中删除元数据条目。

摘要

存在/读取可获取记录级别的锁，并将其保持最短的时间。复制因子为1时，更新/替换也是如此。

当复制因子大于1时，

更新/替换也会获取RW哈希锁。

创建/删除还可以获取索引树还原锁。

对于内存中的 namespace ，服务线程会完成所有工作，直到可能进行副本写入为止。

对于SSD命名空间上的数据，服务线程将操作引发该事务到事务队列中，此后，它的一个事务线程将处理诸如将记录加载到流式写缓冲区中以进行写操作(直到可能的副本写操作)之类的事情。

rw-receive线程处理副本写操作，并在更新/替换/创建/删除写操作后返回消息。

进一步阅读

我已经解决了键值操作，但没有解决批处理，扫描或查询问题。一旦您知道单读的工作原理，batch-reads and single-key reads之间的区别就更容易理解。

Durable deletes不会从主索引中删除该记录的元数据条目。相反，这些是逻辑删除的新写操作。在主索引中将有一个新的64B条目，而在SSD中将有一个128B条目作为记录。

Performance optimizations with CPU pinning。请参阅: auto-pin ， service-threads ， transaction-queues 。