python - 加速收缩？

Question

我正在使用 pycontractions 中的函数尝试将文本扩展为其语法准确的形式。它可以工作，但速度非常慢，我忍不住想知道我是否做了一些不必要的事情，导致了性能的滞后。作为引用，输出需要接近一分钟的时间。

from pycontractions import Contractions

def cont_expand(a):
    cont = Contractions(api_key="glove-twitter-100")
    expText = cont.expand_texts(a, precise=False)

return expText

mystr = ["I'd like to have lunch today"]
x = list(cont_expand(mystr))

Answer 1

我之前不知道或使用过 pycontractions库，但快速浏览一下，我有一些想法。

首先，关于您的使用情况:

Contractions对象需要从磁盘加载大量预先存在的词向量来进行一些分析。它还需要实例化另一个库language-check它显然封装了一个基于 Java 的语法检查实用程序。

查看source code ，我发现它实际上在 expand_texts() 期间第一次需要时以惰性方式执行这些初始化。 ，而不是在对象初始化期间 api_key='glove-twitter-100'已提供。)

对于像探测值这样的小文本，可能是运行时的最大贡献者。所以，一个expand_texts()在刚刚初始化的Contractions上对象不能准确指示该对象在跟踪类似文本方面的表现。因此，假设您的实际用途是每次 Python 调用多个文本，您应该:

• 更改您的代码以重新使用单个实例化的 Contractions对象
• 强制该对象完全加载其子组件，在实际工作中对其进行基准测试之前预先承受该影响

例如:

from pycontractions import Contractions

PYCNTRCTNS = Contractions(api_key="glove-twitter-100")

# dummy call to force vector/grammar loading
PYCNTRCTNS.expand_texts([])  # expect this to take a while

def cont_expand(a):
    expText = PYCNTRCTNS.expand_texts(a, precise=False)
    return expText

mystr = ["I'd like to have lunch today"]
x = list(cont_expand(mystr))  # care about how long this takes

除此之外，您的用法非常简单，而且我看不出您可以通过以不同方式调用该库来加快速度。

但是，稍微了解一下 pycontractions有效，我不会感到惊讶它相当慢，特别是在大文本上。它在内部所做的事情通常是相当慢的过程，而且它还以没有经过严格优化的方式来做这些事情——为了代码的简单性，这可能完全没问题，特别是在短文本上，除非/直到更高的性能是需要的。

例如，它描述了使用“三遍”方法。

• 第一遍涉及许多基于模式的替换，其源代码具有数百个单独的正则表达式。每个文本都需要在循环中与这数百个表达式进行正则表达式匹配，以执行第一步。 (有一些方法可以优化它以使用更少的遍数。)

• 对于具有多个可能扩展的缩写(其中包括测试字符串中的“Id”)，它会执行每个扩展并检查其语法。幸运的是，这只涉及一些扩展，但语法检查也不是最便宜的操作。

• 对于每个替代扩展，它都会计算一个基于词向量的语义差异度量，称为“词移动器距离”与原始文本的距离，这本身可能非常昂贵，尤其是在较长的文本上。 (它从头开始为每个替代项执行此操作 - 尽管除了几个单词之外，每个替代项都以相同的方式开始 - 即使在找到至少一个语法选项之后，它也会继续对没有机会被选中的非语法候选项进行此计算选择。)

在每一步中，它都会将临时结果保留为原始字符串，因此要么 pycontractions代码或各个支持库的代码重复执行相同的标记化步骤。

所以:如果您批量执行此操作，并且对底层库的修复在范围内，则可能有很大的微观优化空间。

但我认为对于许多休闲用途，只要确保您没有重复支付Contractions即可每个操作的初始化加载成本可能足以改善。