文本中多词匹配的算法

Question

我有一大组单词(大约 10,000 个)，我需要找出这些单词中是否有任何出现在给定的文本 block 中。

有没有比对文本 block 中的每个单词进行简单文本搜索更快的算法？

Answer 1

将 10,000 个单词输入哈希表，然后检查文本 block 中的每个单词，如果它的哈希表中有一个条目。

虽然我不知道是否更快，只是另一种方法(取决于您搜索的单词数量)。

简单的 perl 示例:

my $word_block = "the guy went afk after being popped by a brownrabbit";
my %hash = ();
my @words = split /\s/, $word_block;
while(<DATA>) { chomp; $hash{$_} = 1; }
foreach $word (@words)
{
    print "found word: $word\n" if exists $hash{$word};
}

__DATA__
afk
lol
brownrabbit
popped
garbage
trash
sitdown