c - Flex 和 Bison，Windows 使用符号表时出错

Question

程序的目的是将值存储在符号表中，然后将它们打印出来以说明词性。进一步在解析器中进行解析并声明更多，无论是句子还是更多。

我通过

创建可执行文件

flex try1.l
bison -dy try1.y
gcc lex.yy.c y.tab.c -o try1.exe

在cmd(WINDOWS)中

当我在运行可执行文件时尝试声明任何值时，就会出现问题，动词 跑事情是这样的粗体为输入内容

动词跑
运行
运行
语法错误
名词猫
猫
语法错误
运行
运行
语法错误
猫跑
语法错误

我的想法:我不确定为什么我会从代码语法错误中收到此错误。尽管在调试并尝试打印出存储的值之后，我认为链接列表肯定存在某种问题。因为似乎只有一个值存储在链接列表中并导致某种错误。当我尝试打印出存储的 word_type 整数值以供运行时，它会打印出正确的值 259，但拒绝让我在符号表中定义任何其他单词。我撤消了打印语句的更改，现在它的工作原理如前所述。我再次认为 addword 方法存在问题，因为它没有正确添加，因此查找方法导致程序崩溃。

Lexer 文件，此示例取自 O'Reily 第 2 版 Lex And Yacc，实现例1-5,1-6。我正在尝试自己学习 Lex 和 Yacc 并重现这个示例。

%{
/*
* We now build a lexical analyzer to be used by a higher-level parser.
*/
#include <stdlib.h>
#include <string.h>
#include "ytab.h" /* token codes from the parser */
#define LOOKUP 0 /* default - not a defined word type. */
int state;
%}
/* 
*  Example from page 9 Word recognizer with a symbol table. PART 2 of Lexer
*/
%%
\n { state = LOOKUP; } /* end of line, return to default state */
    \.\n { state = LOOKUP;
    return 0; /* end of sentence */
    }
        /* whenever a line starts with a reserved part of speech name */
        /* start defining words of that type */
        ^verb { state = VERB; }
        ^adj { state = ADJ; }
        ^adv { state = ADV; }
        ^noun { state = NOUN; }
        ^prep { state = PREP; }
        ^pron { state = PRON; }
        ^conj { state = CONJ; }
        [a-zA-Z]+ {
            if(state != LOOKUP) {
            add_word(state, yytext);
            } else {
                switch(lookup_word(yytext)) {
                case VERB:
                return(VERB);
                case ADJECTIVE:
                return(ADJECTIVE);
                case ADVERB:
                return(ADVERB);
                case NOUN:
                return(NOUN);
                case PREPOSITION:
                return(PREPOSITION);
                case PRONOUN:
                return(PRONOUN);
                case CONJUNCTION:
                return(CONJUNCTION);
                default:
                printf("%s: don't recognize\n", yytext);
                /* don't return, just ignore it */
                    }
                    }
               }
        . ;
%%
int yywrap()
{
return 1;
}
/* define a linked list of words and types */
struct word {
        char *word_name;
        int word_type;
        struct word *next;
};
struct word *word_list; /* first element in word list */
extern void *malloc() ;
int
add_word(int type, char *word)
    {
    struct word *wp;
        if(lookup_word(word) != LOOKUP) {
        printf("!!! warning: word %s already defined \n", word);
        return 0;
        }
    /* word not there, allocate a new entry and link it on the list */
    wp = (struct word *) malloc(sizeof(struct word));
    wp->next = word_list;
    /* have to copy the word itself as well */
    wp->word_name = (char *) malloc(strlen(word)+1);
    strcpy(wp->word_name, word);
    wp->word_type = type;
    word_list = wp;
    return 1; /* it worked */
    }
    int
    lookup_word(char *word)
    {
    struct word *wp = word_list;
    /* search down the list looking for the word */
    for(; wp; wp = wp->next) {
        if(strcmp(wp->word_name, word) == 0)
        return wp->word_type;
    }
return LOOKUP; /* not found */
}

Yacc 文件，

%{
/*
* A lexer for the basic grammar to use for recognizing English sentences.
*/
#include <stdio.h>
%}
%token NOUN PRONOUN VERB ADVERB ADJECTIVE PREPOSITION CONJUNCTION
%%
sentence: subject VERB object{ printf("Sentence is valid.\n"); }
;
subject: NOUN
| PRONOUN
;
object: NOUN
;
%%
extern FILE *yyin;
main()
{
do
{
yyparse();
}
while (!feof(yyin));
}
yyerror(s)
char *s;
{
fprintf(stderr, "%s\n", s);
}

头文件，必须为某些值创建两个版本，不知道为什么，但代码有问题，我不明白为什么，所以我只是创建了一个带有全名和缩写的 token ，如书中所示每人仅限一份。

# define NOUN 257
# define PRON 258
# define VERB 259
# define ADVERB 260
# define ADJECTIVE 261
# define PREPOSITION 262
# define CONJUNCTION 263
# define ADV 260
# define ADJ 261
# define PREP 262
# define CONJ 263
# define PRONOUN 258

Answer 1

1. 如果你觉得你的链表实现有问题，你最好使用一个简单的驱动程序来测试和调试它，而不是尝试使用一些工具(flex 和 bison)来测试和调试它。 )你仍在学习。总的来说，测试越简单，依赖关系越少，就越容易发现问题。请参阅this useful essay by Eric Clippert有关调试的一些建议。

2. 我不明白为什么您觉得有必要引入 token ID 的“简短版本”。 Levine 书中的示例代码没有在任何地方使用这些符号。您不能仅仅发明符号，也不需要这些缩写。

   您“必须为某些值创建[头文件]的两个版本”的评论，但“代码有问题，我不明白为什么”对于答案来说太不具体了。也许问题在于您认为可以使用未在任何地方定义的标识符，这肯定会导致编译器错误。但如果还有其他问题，您可以提出一个问题，并提供准确的问题描述(即您遇到的具体问题)和 Minimal, Complete, and Verifiable example (如 StackOverflow 帮助页面所示)。

   无论如何，手动设置 token ID 的值几乎肯定会阻止您识别输入。 Bison/yacc 为内部标记保留值 256 和 257，因此将生成的第一个标记(因此在解析器中使用)的值为 258。这意味着从词法扫描器返回的标记值具有不同的含义 Bison 里面。底线:永远手动设置 token 值。如果您的 header 未正确生成，请找出原因。

3. 据我所知，程序的唯一合法输入具有以下形式:

   sentence: subject VERB object
   

   由于您的示例输入(例如“run”)都没有这种形式，因此语法错误并不奇怪。然而，您在输入“cat”上收到一个非常早期的语法错误这一事实确实表明您的符号表查找可能存在问题。 (这可能是上述问题的结果。)