ruby - 删除文件中第二个文件中没有匹配项的行的最快方法是什么？

Question

我有两个文件，wordlist.txt和 text.txt .

第一个文件，wordlist.txt , 包含中文、日文和韩文的大量单词列表，例如:

你
你们
我

第二个文件，text.txt , 包含长段落，例如:

你们要去哪里？
卡拉OK好不好？

我想创建一个新单词列表 ( wordsfount.txt )，但它应该只包含来自 wordlist.txt 的行在 text.txt 中至少找到一次.上面的输出文件应该显示:

你
你们

“我”未在此列表中找到，因为它从未在 text.txt 中找到.

我想找到一种非常快速的方法来创建此列表，该列表仅包含第一个文件中在第二个文件中找到的行。

我知道在 BASH 中检查 worlist.txt 中每一行的简单方法看看它是否在 text.txt 中使用 grep :

a=1
while read line
do
    c=`grep -c $line text.txt`
    if [ "$c" -ge 1 ]
    then
    echo $line >> wordsfound.txt
    echo "Found" $a
fi
    echo "Not found" $a
    a=`expr $a + 1`
done < wordlist.txt

不幸的是，作为wordlist.txt是一个很长的列表，这个过程需要很多小时。必须有一个更快的解决方案。这是一个考虑因素:

由于这些文件包含 CJK 字母，因此可以将它们视为一个包含大约 8,000 个字母的巨型字母表。所以几乎每个词都有相同的字符。例如:

我
我们

因此，如果在 text.txt 中从未找到“我” ，那么“我们”也从未出现是很合乎逻辑的。一个更快的脚本可能会首先检查“我”，并且在发现它不存在时，将避免检查包含在 wordlist.txt 中的每个后续单词。也包含在 wordlist.txt 中.如果在 wordlist.txt 中找到大约 8,000 个唯一字符，那么脚本应该不需要检查那么多行。

创建仅包含第一个文件中的那些单词的列表的最快方法是什么，这些单词也在第二个文件中的某处找到？

Answer 1

我捕获了 the text of War and Peace来自古腾堡项目并编写了以下脚本。如果打印 /usr/share/dict/words 中的所有单词，这些单词也在 war_and_peace.txt 中。您可以通过以下方式更改它:

perl findwords.pl --wordlist=/path/to/wordlist --text=/path/to/text > wordsfound.txt

在我的电脑上，运行只需一秒多一点。

use strict;
use warnings;
use utf8::all;

use Getopt::Long;

my $wordlist = '/usr/share/dict/words';
my $text     = 'war_and_peace.txt';

GetOptions(
    "worlist=s" => \$wordlist,
    "text=s"    => \$text,
);

open my $text_fh, '<', $text
    or die "Cannot open '$text' for reading: $!";

my %is_in_text;
while ( my $line = <$text_fh> ) {
    chomp($line);

    # you will want to customize this line
    my @words = grep { $_ } split /[[:punct:][:space:]]/ => $line;
    next unless @words;

    # This beasty uses the 'x' builtin in list context to assign
    # the value of 1 to all keys (the words)
    @is_in_text{@words} = (1) x @words;
}

open my $wordlist_fh, '<', $wordlist
    or die "Cannot open '$wordlist' for reading: $!";

while ( my $word = <$wordlist_fh> ) {
    chomp($word);
    if ( $is_in_text{$word} ) {
        print "$word\n";
    }
}

这是我的时间:

• [ovid] $ wc -w war_and_peace.txt 
565450 war_and_peace.txt
• [ovid] $ time perl findwords.pl > wordsfound.txt 

real    0m1.081s
user    0m1.076s
sys 0m0.000s
• [ovid] $ wc -w wordsfound.txt 
15277 wordsfound.txt