python - Google App Engine(python) 更新 db.StringListProperty 争用/并发问题

Question

我一直在研究 Google IO“构建可扩展的复杂应用程序”中描述的消息扇出原则

其中表明使用列表属性(例如接收者列表)是一种可扩展的解决方案。

在这种情况下，如果应用程序正在处理许多用户，如何更新列表属性以便不会出现争用问题

使用 IO 示例:

class message(db.model)
    sender=db.stringproperty()
    body=db.textproperty()

class messageindex(db.model)
    receivers=db.stringlistproperty()

为了适应他们的示例，我还需要

class followers(db.model)
    user=db.userproperty()
    followers=db.stringlistproperty()

(代码仅作为示例，未正确输入 - 抱歉)

这个概念是，如果有人关注您，您可以将他们的 key 添加到关注者模型中的关注者列表中，如果您发送消息，则将您的关注者列表存储在消息列表中 - 并使用一个简单的查询，所有用户都会收到该消息- 非常简单的东西。

问题在于更新某人的关注者列表。假设某些帐户可能拥有数百万关注者 - 如果我只是更新实体，他们将出现争用问题 - 还需要多个条目，因为我认为每个列表的条目限制为 5000 个条目。当然，可以发送“添加”或“删除”人员的请求。最好的方法是什么？我正在考虑使用 task_queue 服务。我正在考虑一个工作模型，它存储每个关注请求并触发一个任务在 60 秒内运行。该任务获取人员关注者列表所需完成的所有工作 - 并构建新列表。不确定这将如何工作 - 但它会阻止争用问题，因为一分钟内只能执行一个线程。

有没有人有任何代码示例好的建议，帮助我如何以可扩展的方式做到这一点 - 我不认为 m 缓存可以在该方法中使用，因为任何丢失都意味着后续请求可能会丢失。

Answer 1

我现在已经找到了使用 fork-join-queue 的解决方案。他们是 google IO 2010 上的一篇文章 - 关于如何完成此操作:

link text