个人中心
文章发布
退出
作者热门文章
- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时，我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
24
4
我有以下代码试图遍历一个大表(~100k 行；~30GB)
def updateEmailsInLoop(cursor=None, stats={}):
BATCH_SIZE=10
try:
rawEmails, next_cursor, more = RawEmailModel.query().fetch_page(BATCH_SIZE, start_cursor=cursor)
for index, rawEmail in enumerate(rawEmails):
stats = process_stats(rawEmail, stats)
i = 0
while more and next_cursor:
rawEmails, next_cursor, more = RawEmailModel.query().fetch_page(BATCH_SIZE, start_cursor=next_cursor)
for index, rawEmail in enumerate(rawEmails):
stats = process_stats(rawEmail, stats)
i = (i + 1) %100
if i == 99:
logging.info("foobar: Finished 100 more %s", str(stats))
write_stats(stats)
except DeadlineExceededError:
logging.info("foobar: Deadline exceeded")
for index, rawEmail in enumerate(rawEmails[index:], start=index):
stats = process_stats(rawEmail, stats)
if more and next_cursor:
deferred.defer(updateEmailsInLoop, cursor = next_cursor, stats=stats, _queue="adminStats")
但是，我不断收到以下错误:
在处理这个请求时，发现处理这个请求的进程使用了太多内存而被终止。这很可能会导致对您的应用程序的下一个请求使用新进程。如果您经常看到此消息，则您的应用程序中可能存在内存泄漏。
...有时...
服务 9 次请求后超过 154 MB 的 128 MB 软私有(private)内存限制
我已经更改了我的代码，所以我在任何给定时间总是只提取 10 个条目，所以我不明白为什么我仍然没有内存？
最佳答案
有 3 种方法可以完成这种工作(迭代数据存储中的大量行):
对于我需要的大多数应用程序，这个 x 通常在 100-500 之间。这是我用于迭代超过 1.5m-2m 行以生成一些报告或更新我的数据库中的内容的代码。对于报告，我以 csv 格式保存了一个包含我需要的信息的实体，最后，我读取了所有实体，合并它们，然后删除它们。 (这样做是为了生成 1.5m 行的 excel 数据)(它是 java，但应该很容易翻译成 python):
resp.getWriter().println("<html><head>");
resp.getWriter().println(
"<script type='text/javascript'>function f(){window.location.href='/do/convert/" + this.getClass().getSimpleName() + "?cursor=" + cursorString + "&count="
+ count + "';}</script>");
resp.getWriter().println("</head><body onload='f()'>");
resp.getWriter().println(
"<a href='/do/convert/" + this.getClass().getSimpleName() + "?cursor=" + cursorString + "&count=" + count + "'>Next page -->" + cursorString + " </a>");
resp.getWriter().println("</body></html>");
如果你的“进度”又大又乱，把它保存在实体中(一个或多个，取决于你在做什么)如果你正在做任务版本，我建议要么使用任务名称，要么让你的任务幂等(特别是如果你的计数东西)。如果您要计数，我建议保存包含您正在计数的实体的键的实体，并在最后对这些实体进行计数。
关于python - 我的 Google App Engine 代码中的内存泄漏，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27056614/
24
4
0
Google Cloud Compute 中的 Google Compute Engine、App Engine 和 Container Engine 之间的实际区别是什么？什么时候使用什么？ 有什么
我有一个在 Google App Engine 中运行的应用程序，它访问在 Google Compute Engine 中的机器上运行的服务。 Google App Engine 应用程序是该服务唯一
我们正在谷歌云中构建一个应用程序。我们使用 App Engine 作为前端，使用 Compute Engine 作为后端。在这些 Compute Engine 实例上，我正在运行一个接受特定“命令”消
我有一个现有的 GAE 应用程序(我们称之为应用程序 A)正在运行的情况，但由于非技术原因无法修改。当用户迁移到新的客户端版本时，我们需要将他们的数据从应用程序 A 迁移到新的 GAE 应用程序(我称
我正在尝试发现 App Engine 上的其他已部署服务。类似于 this文章建议。 我的代码是这样的: import ( "fmt" "net/http" "google.g
我想在我的网站上为“图像处理”事件设置服务器。如果我在 GCE 中使用“n1-standard-1”实例，GAE 中的可比功率是多少？是因为我算错了，还是同一个功率两者价格相差很大？ 最佳答案 按小时
我在 Googl Compute Engine 和 Google App Engine 标准环境中的应用程序中创建了一个 VM 实例。我打算在 App Engine 中使用我的应用程序，在 Compu
我像往常一样使用 appcfg.py 更新我的应用程序，但收到一条错误消息。我试过 appcfg.py 回滚，两次尝试之间等了十分钟，但我仍然收到相同的错误消息。我该怎么办？ 无法对 apps/dev
我想在 Google Compute Engine 上放置一个 Redis 服务器，并通过 AppEngine 的套接字支持与其对话。唯一的问题是似乎没有特定的防火墙规则说“此 AppEngine 应
我想知道 App Engine 和 Compute Engine 之间有什么区别。任何人都可以向我解释其中的区别吗？ 最佳答案 App Engine 是一种平台即服务。这意味着您只需部署代码，平台会为
我正在编写一个在 App Engine 的 Go 运行时上运行的 Go 应用程序。 我注意到几乎所有使用 App Engine 服务(例如 Datastore、Mail 甚至 Capabilities
是否有人有在 Grid Engine/Sun Grid Engine/Son of Grid Engine 上运行 Docker 的经验，并且能够 monitor the resource used
我读了很多论坛，因为 grails app-engine 插件多年来没有更新，所以不可能将 grails 应用程序部署到谷歌应用程序引擎。当我准备放弃时，我发现使用 intellij 部署项目是可能的
当前设置， 运行 Windows Server 2012 (GCE Server 2012) 的谷歌计算引擎 运行 Debian Wheezy(GCE 服务器 Wheezy)的 Google 计算引擎
特定于基于 Docker 的部署，这两者之间有什么区别？由于 Google App Engine Flexible 现在也支持基于 Dockerfile 的部署，并且它也是完全托管的服务，因此它似乎比
我相信 Google Kubernetes Engine (GKE) 在 Google Compute Engine (GCE) 上运行。那么，在服务器管理方面使用 Google Kubernetes
TLDR；关于这个问题有任何更新吗？ Google App Engine communicate with Compute Engine over internal network -- 是否可以在同
我正在尝试使用 Go SDK 为 App Engine 编写应用程序，但它似乎与单元测试有一种有趣的关系。人有written libraries左右this original, outdated一组工
在 App Engine 中，我想对在同一个 Google 云项目中创建的 Compute Engine 实例上运行的网络服务器进行 http fetch 调用，我想知道是否可以在不启用的情况下对实例
在编写 Go App Engine 标准应用程序时，过去的情况是您必须使用 App Engine SDK访问数据存储。然而，最近(从 Go 1.11 开始？)，如果你只使用 Cloud Datasto
我是一名优秀的程序员,十分优秀！