ruby - 如何在 R 中复制 Ruby 的 StringScanner 的一些功能？

Question

我有兴趣将文本分词器从 Ruby 移植到 R，我不能只使用 system() 函数从 R 中调用 Ruby 扫描器。现有的 Ruby 实现大量使用了 Ruby 的 StringScanner 中的一些方法。类，我需要弄清楚如何在 R 中做同样的事情。

假设一个字符串是一个流，其指针最初指向字符串的开头；我需要的四个操作是:

• 扫描:如果流当前匹配指定的正则表达式，则将其拉出，否则返回NULL。
• scan_until:在流中移动直到指定的正则表达式匹配。 (我不需要中间文本，但 Ruby 会返回它)
• getch:将流向前移动一个字符并返回。
• eos?:如果指针位于流的末尾，则返回 true。

我对底层对象代表 R 中的流并不挑剔；一个字符串会很好，但在文件连接上操作会很好。

Answer 1

这让我意识到我在设计 S3 类方面有多糟糕，但这里有一些功能似乎可以满足您的要求

getStringScanner <- function(text) {
    structure(list2env(list(text=text, pos=1)),
    class="StringScanner")
}

remaining <- function(x) {
    stopifnot(is(x, "StringScanner"))
    substr(x$text, x$pos, nchar(x$text))
}
restart <- function(x) {
    stopifnot(is(x, "StringScanner"))
    x$pos = 1
}

scan_here<-function(x, re, ...) {
    stopifnot(is(x, "StringScanner"))
    t <- remaining(x)
    m <- regexpr(re, t, ...)
    if(m==1) {
        x$pos = x$pos + attr(m, "match.length")
        regmatches(t,m)
    } else {
        NA
    }
}

scan_until<-function(x, re, ...) {
    stopifnot(is(x, "StringScanner"))
    t <- remaining(x)
    m <- regexpr(re, t, ...)
    if(m>0) {
        x$pos = x$pos + m  -1;
        substr(t, 1, m-1)
    } else {
        NA
    }
}

getch <- function(x, n=1) {
    stopifnot(is(x, "StringScanner"))
    r <- substr(remaining(x), 1, n)
    x$pos = x$pos + n
    r
}

is.eos <- function(x) {
    stopifnot(is(x, "StringScanner"))
    x$pos > nchar(x$text)
}

我确实将 scan 重命名为 scan_here 因为已经有一个同名的基函数而且它不是通用的。我还添加了函数来重置解析并提取剩余的字符串。

这是一个示例使用 session

ss <- getStringScanner("Start-Ok-begin-1-2-3-Start")
scan_here(ss, "Start-")
# [1] "Start-"
remaining(ss)
# [1] "Ok-begin-1-2-3-Start"
scan_until(ss, "-2-")
# [1] "Ok-begin-1"
remaining(ss)
# [1] "-2-3-Start"
getch(ss, 2)
# [1] "-2"
getch(ss)
# [1] "-"
remaining(ss)
# [1] "3-Start"
is.eos(ss)
# [1] FALSE
scan_here(ss, "3-Start")
# [1] "3-Start"
is.eos(ss)
# [1] TRUE

希望这至少可以给你一个起点。请注意，这里唯一“特别”的是在 StringScanner 类的表示中使用了 environment。这允许我“就地”更新 pos 值。