java - 当已经存在 3000 万个实体时，如何准确计算 App Engine 中的一组实体？

Question

目前我有大约 3000 万个实体的集合，我想准确地计算它们。我知道我需要一个分片计数器，每次写入新实体时都会 +1(当前写入速率约为每秒 1.5 次)。困难的一点是如何计算现有实体，而不阻止新的写入？

我可以愉快地编写一个 map reduce 作业来进行计数，但我想确保:

现有和 future 的写入不会计算两次

map reduce 只计算到​​某个点的所有内容，并且在每次写入时运行的新进程只计算 map reduce 作业尚未计算的所有内容。

我对很小的误差感到满意，但希望尽可能地减少误差。

如果有帮助，这些属性中的每一个都有一个写入日期，但我想扩展计数以涵盖其他没有此日期字段的实体。

有什么想法吗？谢谢!

Answer 1

只需以某种方式标记"new"实体:时间戳、 boolean 字段等。然后将它们从用于计算“现有”实体的查询中排除。