Mailgun:事件轮询算法

Question

我们正在支持在我们的应用程序中跟踪 Mailgun 事件。我们审查了提议的 event polling algorithm但发现自己不太适应。首先，我们不希望丢弃我们已经获取的数据，然后在暂停后从头开始重试。它不是很有效，并且会为长时间的重试循环打开一扇门，因为不清楚循环应该何时结束。其次，“阈值年龄”似乎是决定“可信度”的关键，但它的值并没有定义，只建议了一个非常大的“半小时”。
我们的理解是事件在经过一些阈值延迟后变得“值得信赖”，我们称之为 D_max ，当事件被保证驻留在事件存储中时。如果是这样，我们可以用不同的方式实现这个算法，这样我们就不会获取我们知道不“可信”的数据，而是使用所有已获取的数据。
我们将定期获取数据，并且在每次迭代中我们将:

向事件 API 发出请求，指定从 T_1 开始的升序时间范围至 T_2 = now() - D_max .对于第一次迭代，T_1可以设置为过去的某个时间，“例如，半小时前”。对于后续迭代，T_1设置为 T_2 的值来自上一次迭代。

在返回下一页 URL 的同时，逐页获取所有页面。

使用所有获取的事件，因为它们都是“值得信赖的”。

我的问题是:

Q1:这种方法有什么问题吗？

Q2:D_max的最小现实值是多少？ ?显然，我们可以使用“半小时”，但我们希望在跟踪事件时更加灵活，因此知道我们可以将其设置为的最小值是多少并且仍然可靠地获取所有事件会很棒。

谢谢!

Answer 1

1:我认为这个解决方案没有问题(实际上我正在做一些非常相似的事情)。我还存储事件的 ID 以验证我没有插入重复的条目。

2:我一直在经历这个类似的过程。现在我正在 10 分钟时使用 D_max 进行测试。

此外，在进行测试过程时，我每晚都在运行一项额外的任务，该任务一整天都在回溯以验证以下几点:

我是否缺少现有指标？

诊断我对 D_max 所做的假设是否存在问题。