java - 映射任务中长正则表达式的最佳选择是什么？

Question

我有一本很长的关于生物医学实体的术语词典。每个术语(键)都有一个标识符(值)列表。

我必须在自由文本中找到这个术语。我有几本大约有 300,000 个术语的词典，对于这项任务，我使用 Python 和 Java 来评估速度。

该算法类似于(在 Python 中):

for sentence in text_list:
    terms = dictionary.keys()
    pattern = re.compile("|".join(terms))
    matches = pattern.finditer(sentence)
    for m in matches:
        ini = m.start()
        end = m.end()
        match = m.group(1)
        save_result(ini, end, match)

我正在使用pypi.python.org/pypi/regex打包，因为标准重新打包无法编译我的长正则表达式。另外，我在Java中也做了同样的算法。

我使用了大约 650,000 个句子，在 Python 中，编译需要 3-4 分钟，算法可以在 3-4 小时内完成。

Java 在几秒钟内编译正则表达式，但算法需要 16-18 小时...O_o

我一直在阅读不同的网站和 http://swtch.com/~rsc/regexp/regexp1.html有一个有趣的信息，但我不知道如何处理。

我的问题是...我已经实现了在大约 3 小时内完成所有句子，您知道另一种方法可以在更短的时间内实现相同的目标吗？也许用其他语言，或者使用其他库或包？ (在 Java 中，我使用标准库 java.util.regex.*)。上面的网站讨论了 Thonpson NFA 算法，有这个算法的 Java、Python 或其他库或包吗？ grep(Linux)是一个强大的工具，你认为我会使用它吗？

Answer 1

正则表达式不适合这项工作。使用您的术语创建一个字典(哈希表的 Python 名称)，将文本拆分为单词(使用 string.split 和 string.rstrip 删除标点符号)，然后对照此字典检查文本中的每个单词。