regex - 使用 Julia 正则表达式有效地捕获可变数量的模式？

Question

我正在从巨大的文本文件中提取数据，其中我感兴趣的部分看起来像

...
section:NumberOfSurvivorsPerVault
subsection:1958
xy:1_1034
xy:2_2334
subsection:1959
xy:1_1334
xy:2_2874
xy:7_12
...
section:MeanCapsPerGhoul
subsection:1962
xy:1_234
xy:2_121
....

节/小节随机散布在整个文本文件中，并且具有可变数量的 xy 对。现在我正在阅读全文并捕获每个文本并将它们添加到数据框中:

function pushparametricdata(df, full) 
    for m = eachmatch(r"section:(.*)\r\nsubsection:([0-9]*)\r\n((xy:[0-9]*_.*?\r\n)+)"m, full)
        for r = eachmatch(r"xy:([0-9]+)_(.*?)\r\n"m, m.captures[3])
            push!(df, [m.captures[1], int(m.captures[2]), int(r.captures[1]), float(r.captures[2])])
        end
    end
end

这工作正常，但我认为由于两个正则表达式，这至少分配了两倍的内存，@time 显示 80% 的运行是 gc。有什么办法可以在不制作中间副本的情况下完成吗？ (据我所知，不可能用一个正则表达式来做到这一点)。

Answer 1

这完全取决于您需要验证文本文件其余部分的内容。例如，如果您不需要语法验证，因为您确定文本文件具有正确的部分-子部分-项目结构，您可以使用此 RegEx:

(?:\G|(?:\G|^section:(.*)[\r\n]+)subsection:(\d*)[\r\n]+)xy:(\d*_.*+[\r\n]+)

迭代每个 xy 对。

---

例子:

for m = eachmatch(r"(?:\G|(?:\G|^section:(.*)[\r\n]+)subsection:(\d*)[\r\n]+)xy:(\d*_.*+[\r\n]+)"m, full)
    if m.captures[2] != nothing
        sub = m.captures[2]
        if m.captures[1] != nothing
            sec = m.captures[1]
        end
    end
    item = m.captures[3]

    print("SECTION: ", sec, " -- SUBSECTION: ", sub, " -- ITEM: ", item)
end

*请原谅我，这是我第一次尝试在 Julia 中编码。

打印:

SECTION: NumberOfSurvivorsPerVault -- SUBSECTION: 1958 -- ITEM: 1_1034
SECTION: NumberOfSurvivorsPerVault -- SUBSECTION: 1958 -- ITEM: 2_2334
SECTION: NumberOfSurvivorsPerVault -- SUBSECTION: 1959 -- ITEM: 1_1334
SECTION: NumberOfSurvivorsPerVault -- SUBSECTION: 1959 -- ITEM: 2_2874
SECTION: NumberOfSurvivorsPerVault -- SUBSECTION: 1959 -- ITEM: 7_12
SECTION: MeanCapsPerGhoul -- SUBSECTION: 1962 -- ITEM: 1_234
SECTION: MeanCapsPerGhoul -- SUBSECTION: 1962 -- ITEM: 2_121

---

此表达式使用 \G在上一场比赛结束时进行比赛。所以它将尝试按以下顺序匹配:

1. 如果之前有匹配，尝试匹配 m.captures[3] 中的 xy 对锚定到上一场比赛结束时，第 1 和第 2 个捕获组未设置。

2. 如果 (1) 不匹配，尝试匹配 m.captures[2] 中的 subsection 和 xy pair和 m.captures[3] ，再次锚定到上一场比赛的结尾，让第一个捕获组未设置。

3. 尝试使用section、subsection 和xy pair

进行完全匹配

此示例适用于您的主题文本，并且仅作为工作示例的起点，具体取决于您的文本文件的实际结构。请注意，例如，如果您缺少小节，它将失败。