google-app-engine - Google App Engine 日志究竟是如何工作的？

Question

当您执行 Logging 语句时，Google 将日志存储在哪里？记录语句似乎非常快，因此它们似乎没有存储在数据存储区中。

日志的可靠性如何？如果我执行日志记录语句并成功，是否可以保证它会显示在日志中？

存储了多少日志历史记录？

我对此感兴趣的原因是因为我正在制作一个问答网站，我想跟踪每个唯一登录用户对每个问题的观看次数，并在问题页面上显示观看次数.因此，如果 10 个不同的用户访问了问题页面 100 次，它仍然只算作 10 次独立浏览。

我有一台异地计算机为我的应用程序进行后台处理。我计划让这台异地计算机大约每 30 分钟下载一次日志，并根据日志计算每个问题的查看次数。通过这样做，我不必为每个用户查看的每个不同问题创建数据存储实体。

大家怎么看？有人看到这有什么问题吗？

编辑:我想我主要关心的是日志的可靠性。

Answer 1

这不是您问题的答案 - 相反，它是对您试图解决的问题的回应。

如果您熟悉 Bloom Filters并使用 Memcached's incr (或 sharded datastore counter )您可以创建一个“足够好”的解决方案。您可以使用布隆过滤器来测试某个值是否在集合中(在本例中为用户 ID)，如果不在，则增加计数器并将该值添加到过滤器中。 Bloom Filters 的一个特性是，向集合中添加一个值以进行包含检查是一个恒定时间的操作。从空间上看，存储每个潜在过滤器会占用一些空间，但这似乎比编写代码定期 grep 查找唯一性要简单一个数量级。 Here's a Python implementation .

但是，没有什么是免费的 - 我说过“足够好”很重要。使用布隆过滤器，总是有可能出现误报。也就是说，根据每个问题的散列大小，您有很小的机会检查用户 ID 是否已经被计算在内，并在用户第一次查看问题时得到“YES IT HAS” .您可以计算合理误报所需的大小，但这样做需要空间权衡。