在 (f)lex 中复制整个输入行(以获得更好的错误消息)？

Question

作为使用 yacc(或 bison)和 lex(或 flex)的典型解析器的一部分，我想在词法分析器中复制整个输入行，这样，如果以后出现错误，程序可以打印出有问题的整行并在有问题的标记下放置插入符号 ^。

要复制该行，我目前正在做:

char *line;        // holds copy of entire line
bool copied_line;

%%

^.+  {
       if ( !copied_line ) {
          free( line );
          line = strdup( yytext );
          copied_line = true;
       }
       REJECT;
     }

/* ... other tokens ... */

\n   { copied_line = false; return END; }

这行得通，但是，从进入调试器开始，它的效率确实很低。似乎正在发生的事情是 REJECT 导致词法分析器一次后退一个字符，而不是仅仅跳转到下一个可能的匹配项。

是否有更好、更有效的方法来获得我想要的东西？

Answer 1

这里是使用 getline() 的 YY_INPUT 的可能定义。只要没有 token 同时包含换行符和后续字符，它就应该可以工作。 ( token 可以在末尾包含换行符。)具体来说，current_line 将包含当前 token 的最后一行。

词法扫描成功完成后，current_line 将被释放并重置剩余的全局变量，以便可以对另一个输入进行词法分析。如果词法扫描在到达输入末尾之前中断(例如，因为解析不成功)，则应显式调用 reset_current_line() 以执行这些任务。

char* current_line = NULL;
size_t current_line_alloc = 0;
ssize_t current_line_sent = 0;
ssize_t current_line_len = 0;

void reset_current_line() {
  free(current_line);
  current_line = NULL;
  current_line_alloc = current_line_sent = current_line_len = 0;
}

ssize_t refill_flex_buffer(char* buf, size_t max_size) {
  ssize_t avail = current_line_len - current_line_sent;
  if (!avail) {
    current_line_sent = 0;
    avail = getline(&current_line, &current_line_alloc, stdin);
    if (avail < 0) {
      if (ferror(stdin)) { perror("Could not read input: "); }
      avail = 0;
    }
    current_line_len = avail;
  }
  if (avail > max_size) avail = max_size;
  memcpy(buf, current_line + current_line_sent, avail);
  current_line_sent += avail;
  if (!avail) reset_current_line();
  return avail;
}

#define YY_INPUT(buf, result, max_size) \
  result = refill_flex_buffer(buf, max_size);

虽然上面的代码不依赖于维护当前列的位置，但是如果你想识别当前标记在当前行中的位置，这很重要。如果您不使用 yyless 或 yymore，以下内容将有所帮助:

size_t current_col = 0, current_col_end = 0;
/* Call this in any token whose last character is \n,
 * but only after making use of column information.
 */
void reset_current_col() {
  current_col = current_col_end = 0;
}
#define YY_USER_ACTION \
  { current_col = current_col_end; current_col_end += yyleng; }

如果您将此扫描器与具有前瞻性的解析器一起使用，则仅保留输入流的一行可能不够，因为前瞻标记可能位于错误标记的后续行中。在循环缓冲区中保留几行保留行将是一个简单的增强，但根本不清楚需要多少行。