java - Giraph 的 workers 在顶点接收消息时采用什么机制？

Question

我很好奇，在 Giraph 的 worker API 文档中，我看到了关于这个方法的解释:

public void storeCheckpoint()
// Both the vertices and the messages need to be checkpointed in order for them to be used. 
// This is done after all messages have been delivered, but prior to a superstep starting.

我知道他们在 compute() 方法中使用他们接受的消息，但他们什么时候收到消息？如果是在检查点过程之前，文档/代码中是否有任何部分我可以看到以理解它？

另外，Giraph 在超步 S+1 之前使用什么机制存储消息？他们是先将其存储在缓冲区还是磁盘中？

我在 Giraph 文档中找不到任何关于此的内容。

Answer 1

所有消息都是在一个超步之后批量接收的，它告诉计算函数在下一个超步应该在哪个顶点或节点上执行。这就是Bulk Synchronous并行的过程。在此过程中，已为其传递消息的所有顶点都变为 Activity 状态，并且计算方法在这些顶点中的每一个上并行执行。这是超步。现在重复此过程，直到所有顶点都达到称为暂停投票的情况，此暂停投票使用 apache zookeeper zk 节点，或者您可以说一个函数 writeHaltInstrcutions(args,args) 来暂停正在运行的进程。请记住，您需要 storecheckpoint 函数，因为有时会发生在 Map 100% 执行后没有 reducer 的情况。这个过程一直在运行，没有停止，所以对于那些情况，你需要有一个检查点函数来跟踪你已经到达的检查点。我希望这会有所帮助。