gpt4 book ai didi

python - GAE Python 代码在生产中比本地慢得多

转载 作者:行者123 更新时间:2023-11-28 22:33:53 25 4
gpt4 key购买 nike

在我的 Python GAE 应用程序中,以下代码片段在生产中比在本地运行时慢得多。处理过程如下:

  1. 在 POST 中加载了一个大约 1 MB 的文本文件。文本文件的每一行都是一个“项目”。
  2. 我的代码从文本文件创建项目列表并检查重复项和有效性(通过与编译的 RE 进行比较)。

代码如下:

def process_items(self, text):
item_list = text.split()
item_set = set()
n_valid = 0
n_invalid = 0
n_dups = 0
out = ""
for item in item_list:
if item in item_set:
n_dups += 1
out += "DUPLICATE: %s\n" % item
elif valid_item(item): # This compares against a compiled RE
item_set.add(item)
n_valid += 1
out += "%s\n" % item
else:
n_invalid += 1
out += "INVALID: %s\n" % item
return out

当我在本地开发服务器上运行它时,处理一个 50,000 行的 1MB 文件需要 5 秒。

当我在生产环境中运行它时,同一个文件需要一分钟的时间并且请求超时。文件上传只需要大约一秒钟,所以我知道瓶颈是上面的代码。

过去,生产代码的速度与本地代码的速度差不多。我认为此代码没有更改,所以我怀疑 Google 端可能进行了更改。

知道为什么这段代码现在在生产中要慢得多吗?我能做些什么来使这段代码更快?我需要向用户返回一个带注释的文件,指示哪些行重复,哪些行无效。

编辑:

为了回应 mgilson 的评论,我尝试了以下代码,它在执行时间上产生了巨大的差异!以前在一分钟后超时的处理现在只需要大约 5 秒。 GAE 仍然比预期的要慢(即使考虑到相对较慢的服务器 CPU),但是有了改进的算法,现在对我来说并不重要。

def process_items(self, text):
item_list = text.split()
item_set = set()
n_valid = 0
n_invalid = 0
n_dups = 0
for i, item in enumerate(item_list):
item = item.strip()
if item in item_set:
n_dups += 1
item_list[i] = "DUPLICATE: %s" % item
elif valid_item(item): # This compares against a compiled RE
item_set.add(item)
n_valid += 1
item_list[i] = item
else:
n_invalid += 1
item_list[i] = "INVALID: %s" % item
return "\n".join(item_list)

最佳答案

GAE 生产运行速度比本地运行速度慢一点也不出乎意料 -- 取决于您的 instance class ,您的生产 CPU 可以被限制为低至 600MHz,这比大多数开发人员计算机慢得多。

为了加快速度,您可以做的一件事是将您的结果累积在一个列表中(或从生成器中生成它们),然后使用 str.join 来获得完整结果:

def process_items(self, text):
item_list = text.split()
item_set = set()
n_valid = 0
n_invalid = 0
n_dups = 0
out = []
for item in item_list:
if item in item_set:
n_dups += 1
out.append("DUPLICATE: %s\n" % item)
elif valid_item(item): # This compares against a compiled RE
item_set.add(item)
n_valid += 1
out.append("%s\n" % item)
else:
n_invalid += 1
out.append("INVALID: %s\n" % item)
return "".join(out)

关于python - GAE Python 代码在生产中比本地慢得多,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39494684/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com