PHP - 优化数千种模式的 preg_match

Question

所以我写了一个脚本来从原始基因组文件中提取数据，这是原始基因组文件的样子:

# rsid  chromosome  position    genotype
rs4477212   1   82154   AA
rs3094315   1   752566  AG
rs3131972   1   752721  AG
rs12124819  1   776546  AA
rs11240777  1   798959  AG
rs6681049   1   800007  CC
rs4970383   1   838555  AC
rs4475691   1   846808  CT
rs7537756   1   854250  AG
rs13302982  1   861808  GG
rs1110052   1   873558  TT
rs2272756   1   882033  GG
rs3748597   1   888659  CT
rs13303106  1   891945  AA
rs28415373  1   893981  CC
rs13303010  1   894573  GG
rs6696281   1   903104  CT
rs28391282  1   904165  GG
rs2340592   1   910935  GG

原始文本文件有数十万行，但我只需要特定的行，我需要大约 10,000 行。我有一个 rsid 列表。我只需要每一行的基因型。所以我遍历 rsid 列表并使用 preg_match 找到我需要的行:

    $rawData = file_get_contents('genome_file.txt');
    $rsids = $this->get_snps();

    while ($row = $rsids->fetch_assoc()) {

        $searchPattern = "~rs{$row['rsid']}\t(.*?)\t(.*?)\t(.*?)\n~i";

        if (preg_match($searchPattern,$rawData,$matchedGene)) {

            $genotype = $matchedGene[3]);

            // Do something with genotype

        }   

    }   

注意:我删除了很多代码以仅显示我正在执行的正则表达式提取。随着我的进行，我还将每一行插入到数据库中。这是包含数据库工作的代码:

    $rawData = file_get_contents('genome_file.txt');
    $rsids = $this->get_snps();

    $query = "INSERT INTO wp_genomics_results (file_id,snp_id,genotype,reputation,zygosity) VALUES (?,?,?,?,?)";
    $stmt = $ngdb->prepare($query);

    $stmt->bind_param("iissi", $file_id,$snp_id,$genotype,$reputation,$zygosity);

    $ngdb->query("START TRANSACTION");

    while ($row = $rsids->fetch_assoc()) {

        $searchPattern = "~rs{$row['rsid']}\t(.*?)\t(.*?)\t(.*?)\n~i";

        if (preg_match($searchPattern,$rawData,$matchedGene)) {

            $genotype = $matchedGene[3]);

            $stmt->execute();
            $insert++;

        }   


    }   

    $stmt->close();
    $ngdb->query("COMMIT");

    $snps->free();
    $ngdb->close();

}

很遗憾，我的脚本运行速度非常慢。运行 50 次迭代需要 17 秒。所以你可以想象运行 18,000 次迭代需要多长时间。我正在研究优化它的方法。

有没有更快的方法从这个巨大的文本文件中提取我需要的数据？如果我将它分解成一个行数组，并使用 preg_grep()，会不会更快呢？

我尝试将所有 18,000 个 rsid 组合成一个表达式(即 (rs123|rs124|rs125)，如下所示:

    $rsids = get_rsids(); 

    $rsid_group = implode('|',$rsids);
    $pattern =  "~({$rsid_group })\t(.*?)\t(.*?)\t(.*?)\n~i";
    preg_match($pattern,$rawData,$matches);

但不幸的是，它给了我一些关于超过 PCRE 表达式限制的错误信息。针太大了。我尝试的另一件事是将 S 修饰符添加到表达式中。我读到这会分析模式以提高性能。它根本没有加快速度。也许模式与它不兼容？

那么我需要尝试优化的第二件事是数据库插入。我添加了一个交易，希望能加快速度，但它根本没有加快速度。所以我在想也许我应该将插入的内容组合在一起，这样我就可以一次插入多行，而不是单独插入它们。

然后另一个想法是我读到的，使用 LOAD DATA INFILE 从文本文件加载行。在那种情况下，我只需要先生成一个文本文件。我想知道在这种情况下生成文本文件会不会更快。

编辑:似乎占用最多时间的是正则表达式。单独运行程序的那部分，需要很长时间。 10 行需要 4 秒。

Answer 1

这很慢，因为您要一遍又一遍地搜索大量数据。

看起来您有一个文本文件，而不是 dbms 表，其中包含如下行:

rs4477212   1   82154   AA
rs3094315   1   752566  AG
rs3131972   1   752721  AG
rs12124819  1   776546  AA

看起来您有一些其他数据结构，其中包含一个值列表，例如 rs4477212。我认为它已经在 dbms 的表中了。

我认为您想要完全匹配 rsxxxx 值，而不是前缀或部分匹配。

我认为您想处理许多不同的原始数据文件，并从每个文件中提取同一批 rsxxxx 值。

所以，这就是你在伪代码中所做的。不要将整个原始数据文件加载到内存中，而是逐行处理它。

1. 从 dbms 中读取你的 rsid 值行，一次，并将它们存储在关联数组中。
2. 对于每个原始数据文件....
   1. 对于文件中的每一行数据...
      1. 拆分数据行以获得rsid。在 php 中，$array = explode("", $line, 2); 将在 $array[0] 中产生您的 rsid，并且速度很快。
      2. 在您的 rsid 值数组中查找此值。在 php 中，if ( array_key_exists( $array[0], $rsid_array )) { ... 将执行此操作。
      3. 如果 key 确实存在，则您有一个匹配项。
      4. 从原始文本行中提取最后一列('GC 或其他)
      5. 将其写入您的 dbms。

请注意它如何避免使用正则表达式，以及它如何逐行处理原始数据。您只需触摸每行原始数据一次。这很好，因为您的原始数据也是您最大的数据量。它利用 php 的关联数组功能来进行匹配。所有这些都将比您的方法快得多。

要加快向表中插入数万行的过程，请阅读此内容。 Optimizing InnoDB Insert Queries