c++ - 正则表达式慢

Question

我正在尝试使用正则表达式解析构建日志文件以获取一些信息。我正在尝试使用像 ("( {9}time)(.+)(c1xx\\.dll+)(.+)s") 这样的正则表达式匹配 time(D:\Program Files\Microsoft Visual Studio 11.0\VC\bin\c1xx.dll)=0.047s 这样的行

在一个包含 19,000 行的文件中，这大约需要 120 秒才能完成。其中一些非常大。基本问题是当我将行数减少到大约 19000 行时，使用某些条件，它没有改变任何东西，实际上使情况变得更糟。我不明白，如果我完全删除正则表达式，只扫描文件大约需要 6 秒。这意味着正则表达式是这里主要的耗时过程。那么，当我删除一半的行时，为什么它不会至少降低一些。

此外，谁能告诉我哪种正则表达式更快、更通用或更具体。即我可以匹配这条线 time(D:\Program Files\Microsoft Visual Studio 11.0\VC\bin\c1xx.dll)=0.047s uniquley 在文件中也使用此正则表达式 - ("(.+)(c1xx.dll)(.+)") .但是当我使用类似 ("( {9}time)(.+)(c1xx\\.dll+)(.+)") 的东西时，它会让整个运行速度变得更慢。它使它运行得稍微快一些。

我使用的是 C++ 11 正则表达式库，主要是 regex_match 函数。

regex c1xx("( {9}time)(.+)(c1xx\\.dll+)(.+)s");
auto start = system_clock::now();
int linecount = 0;
while (getline(inFile, currentLine))
{
    if (regex_match(currentLine.c_str(), cppFile))
    {
        linecount++;
        // Do something, just insert it into a vector
    }
}

auto end = system_clock::now();
auto elapsed = duration_cast<milliseconds>(end - start);
cout << "Time taken for parsing first log = " << elapsed.count() << " ms" << " lines = " << linecount << endl;

输出:

Time taken for parsing first log = 119416 ms lines = 19617

regex c1xx("( {9}time)(.+)(c1xx\\.dll+)(.+)s");
auto start = system_clock::now();
int linecount = 0;
while (getline(inFile, currentLine))
{
    if (currentLine.size() > 200)
    {
        continue;
    }

    if (regex_match(currentLine.c_str(), cppFile))
    {
        linecount++;
        // Do something, just insert it into a vector
    }
}

auto end = system_clock::now();
auto elapsed = duration_cast<milliseconds>(end - start);
cout << "Time taken for parsing first log = " << elapsed.count() << " ms" << " lines = " << linecount << endl;

输出:

Time taken for parsing first log = 131613 ms lines = 9216

为什么在第二种情况下需要更多时间？

Answer 1

So why the does not go at least some amount lower when I removed half of the lines.

Why its taking more time in the second case ?

可以想象，regex 库能够以某种方式比您的大小检查更有效地过滤掉行。也有可能在 while 循环中引入额外的分支会混淆编译器的分支预测，因此您无法获得最佳的指令流水线/预取。

Also, can anyone tell me what kind of regular expression is faster, more generic one or more specific one.

如果表达式 ("(.+)(c1xx.dll)(.+)") 可以工作，我相信 (".+c1xx\\.dll.+") 也可以，正则表达式不会为您保存匹配位置。