perl - BaseX : how to set up 中的基准测试

Question

目前，我是一个研究小组的实习生，该小组可以搜索大量文本(语料库)。不仅可以搜索文字字符串，更重要的是，还可以查找与给定输入类似的语法依赖结构，而无需精通任何编程语言或语料库注释风格。很明显，这个工具是为语言学家准备的。

在项目开始时 - 在我参与该项目之前 - 该工具仅限于相当小的语料库(最多 900 万字)。目标是使大量文本也可搜索。我们谈论的是 +- 5 亿字。已经进行了尝试，理论上应该通过减少搜索空间来提高速度(参见 this paper)，但这尚未经过测试。这种尝试的结果是一个新的文件结构。与未处理的结构 A 相比，我们将此结构称为 B。我们希望 B 在使用 BaseX 查询时提供更快的结果。

我的问题是:用 Perl 脚本测试和比较这两种方法的最佳方法是什么？您可以在下面找到我当前用于在本地查询 BaseX 的脚本。它需要两个参数。存储不同文件的目录。这些文件各自单独存储 XPath。这些 XPath 是我选择用来进行基准测试的那些。第二个参数是返回结果的限制。当设置为零时，没有设置限制。

由于数据集的某些部分非常庞大，因此我们也将它们分成了不同的、大小相同的文件，称为 treebankparts。它们存储在 <tb>里面的标签treebankparts.lst .

#!/usr/bin/perl

use warnings;

$| = 1;    # flush every print

# Directory where XPaths are stored
my $directory = shift(@ARGV);

# Set limit. If set to zero all results will be returned
my $limit = shift(@ARGV);

# Create session, connect to BaseX
my $session = Session->new([INFORMATION WITHHELD]);

# List all files in directory
@xpathfiles = <$directory/*.txt>;

# Read lines of treebank parts into variable
open( my $tfh, "treebankparts.lst" ) or die "cannot open file treebankparts.lst";
chomp( my @tlines = <$tfh> );
close $tfh;

# Loop through all XPaths in $directory
foreach my $xpathfile (@xpathfiles) {
    open( my $xfh, $xpathfile ) or die "cannot open file $xpathfile";
    chomp( my @xlines = <$xfh> );
    close $xfh;

    print STDOUT "File = $xpathfile\n";

    # Loop through lines from XPath file (= XPath query)
    foreach my $xline (@xlines) {
        # Loop through the lines of treebank file
        foreach my $tline (@tlines) {
            my ($treebank) = $tline =~ /<tb>(.+)<\/tb>/;
            QuerySonar( $xline, $treebank );
        }
    }
}
$session->close();

sub QuerySonar {
    my ( $xpath, $db ) = @_;

    print STDOUT "Querying $db for $xpath\n";
    print STDOUT "Limit = $limit\n";
    my $x_limit;
    my $x_resultsofxp = 'declare variable $results := db:open("' . $db . '")/treebank/alpino_ds'
      . $xpath . ';';
    my $x_open       = '<results>';
    my $x_totalcount = '<total>{count($results)}</total>';
    my $x_loopinit   = '{for $node at $limitresults in $results';

    # Spaces are important!
    if ( $limit > 0 ) {
        $x_limit = ' where $limitresults <= ' . $limit . ' ';
    }
    # Comment needed to prevent `Incomplete FLWOR expression`
    else { $x_limit = '(: No limit set :)'; }

    my $x_sentenceinfo = 'let $sentid := ($node/ancestor::alpino_ds/@id)
        let $sentence := ($node/ancestor::alpino_ds/sentence)
        let $begin := ($node//@begin)
        let $idlist := ($node//@id)
        let $beginlist := (distinct-values($begin))';

    # Separate sentence info by tab
    my $x_loopexit = 'return <match>{data($sentid)}&#09;
        {string-join($idlist, "-")}&#09;
        {string-join($beginlist, "-")}&#09;
        {data($sentence)}</match>}';
    my $x_close = '</results>';

    # Concatenate all XQuery parts
    my $x_concatquery =
        $x_resultsofxp
      . $x_open
      . $x_totalcount
      . $x_loopinit
      . $x_limit
      . $x_sentenceinfo
      . $x_loopexit
      . $x_close;

    my $querysent = $session->query($x_concatquery);

    my $basexoutput = $querysent->execute();
    print $basexoutput. "\n\n";

    $querysent->close();
}

(请注意，这是一个精简版，它可能无法按原样工作。此代码段确实 不是 使用结构 B!)

发生的情况是:遍历所有 XPath 文件，遍历 XPath 文件中的每一行，遍历所有 treebankparts，然后执行 sub。然后 sub 查询 BaseX。这归结为向 BaseX 发送一个新的 XQuery，并返回总命中数和结果(可能受 Perl 脚本中的参数限制)。所以我开始了，但现在的问题是:我如何改进这个脚本，以便我可以从中获得一些基准测试结果。

首先，我将从向该脚本添加分析器开始。我想那一点是显而易见的。但是，我不确定我应该如何开始比较结构 A 和 B。我是否将两个查询(到不同的数据库)放在单独的脚本中，然后在两者上调用分析器，并多次运行这两个脚本并获得平均值并比较？或者我会几乎同时在同一个脚本中运行两个数据库的每个查询？

考虑正在发生的缓存很重要。因此，我不完全确定对如此庞大的数据库进行基准测试的构建是合适的。第一个脚本，然后另一个。两者同时。在两者之间交替查询。等等。有很多可能性，但我想知道哪一种会提供最好的结果。另外，我会重复这个过程几次。我会重复每个查询然后继续下一个，还是完成所有 XPath 文件，然后再次重复整个过程？

(阅读 benchmark-tag 的描述，我相信这 - 尽管很详细 - 帖子适合 SO。)

Answer 1

有几件事我们必须在这里分开:第一个问题是 BaseX 性能不应该与您的 perl 脚本混淆，因为您的 perl 脚本似乎只是构建了一个 XQuery(而不是您在问题和标签中建议的 XPath)。因此，对于测试，我建议使用一些适合您的实际场景的已经预定义好的 XQuery，因为您的 XQuery 构造应该可以忽略不计。您如何将查询传递给 BaseX，因此通过 Perl API 或通过任何其他方式应该无关紧要。即使您的 perl 性能是相关的，您也应该单独测试性能。

因此，您是否应该在同一个脚本中测试两个场景的原始问题不再相关。相反，您只需自己为场景 A 和 B 执行两个单独的 XQuery，无需 perl 脚本。

您担心缓存是部分正确的，但是最有可能与此处相关的是 Java JIT 编译器(因为 BaseX 是用 Java 编写的，JIT 并使用缓存，而不是 BaseX 本身。因此，您应该使用客户端/服务器基础结构和有一个长时间运行的服务器并在运行性能测量之前预热它。

关于性能:BaseX GUI 和命令行已经包含一个测量值(使用命令行你可以设置 -V 来获取解析、编译、评估和打印的运行时间)。另外，使用 -r参数您可以多次执行查询，它将为您提供平均执行时间。

一般来说，如果您想提高脚本的性能，您应该查看查询计划和优化的查询，并检查是否使用了适当的索引。此外，我们的新 Selective Indexing可能对你非常有用。如果不使用索引，那么对于 5 亿个单词，您的查询肯定不会表现得很好。

完全披露:我在 BaseX 团队工作，您可能会在 BaseX mailing list 获得更好的帮助。或者可能想引用这个问题，因为我们的首席架构师不像 ML 那样经常关注 SO。