python - 如何防止应用程序在调用 get_multi 时调用 datastore_v3.next()？

Question

我正在运行一个keys_only查询，它获取20个结果。

result_keys, cursor, more = ActivityIndex.query(cls.followers  == key)\
                                        .order(-cls.date_created)\
                                        .fetch_page(num_results,
                                                    start_cursor = cursor,
                                                    keys_only=True)

然后我得到了activityIndex对象的父对象:

keys = []
for k in result_keys:
    for pair in k.parent().pairs():
        keys.append(ndb.Key(pairs=[pair]))

activities_related = ndb.get_multi(keys)

我认为这会很快，因为我正在通过 key 获取一批对象。但是，查询似乎调用 datastore_v3.Next ，根据appstats docs是“坏”的，并且占用了很大一部分执行时间。

Avoiding unnecessary Next calls may speed up your app!

上述查询的 Appstats(使用 get_multi 调用)

上述查询的 Appstats，但没有调用 get_multi(next() 响应时间很短)。

为什么datastore_v3.next()调用 get_multi() 时需要很长时间才能执行？它取决于 get_multi 将返回的结果数量吗？ get_multi 返回的一些对象具有列表属性(列表中最多 10 个项目)，这会对性能产生影响吗？

为了避免这个问题，是否最好更改设计并在微线程中获取所需的实体？还有其他建议吗？

编辑:

关于我正在尝试做的事情的更多信息:我的应用程序中有一个事件流，它显示所有用户事件，例如罗布评论了图片等。为了显示此信息，我认为需要用户对象和图片对象来构建事件描述和要显示的信息。我将所有这些对象的键设置为 ActivityIndex 的父级。所以从上面的查询来看，ndb.get_mult(keys)将获取 Activity、User 和 Picture 对象。 键列表可能包含 50 个或更多键，因此这可能是长 datastore_v3.Next 的原因打电话。

Answer 1

您是在 dev_appserver 中执行此操作吗？ (我希望不会，因为它的性能与生产环境完全无关，我们讨论这个都是浪费时间。)

看起来有什么可疑的事情发生。 ISTR 表示 Next 调用是异步安排的，在某些情况下实际上并不需要。这可以解释为什么即使您没有重叠调用，第一个图表也会显示 Next 重叠 memcache get 调用。

但是，不应该有那么大的延迟。您是否在调用 get_multi() 之前执行了未显示的额外操作？

顺便说一句，你对这些对所做的事情看起来过于复杂。如果有任何 parent 拥有一对以上，这将产生无效的 key 。我认为只有一个级别的 parent ，而你只想得到这些 - 如果是这样，这应该足够了:

keys = [k.parent() for k in result_keys]

最后，请参阅第 118 期:http://code.google.com/p/appengine-ndb-experiment/issues/detail?id=118 -- 我们测量了您似乎正在尝试的技巧，只有当您的命中率非常高时才值得。