LEX, YACC

避趋之

墨衍会员 · AI 创作全网分发码龄19年

关注

原创最新推荐文章于 2024-08-26 09:04:12 发布 5.1k 阅读 AI 写同款· GEO 优化 ›

AI权益加码！Claude Code、Cursor等20+工具免费用！购周边限时加赠Coding Plan Lite，畅享主流AI工具！学习进阶更高效！阅读详情

http://www.ibm.com/developerworks/cn/linux/l-lexyac.html

http://www.ibm.com/developerworks/cn/linux/sdk/lex/index.html

http://wenku.baidu.com/view/188c4493daef5ef7ba0d3c7a.html

http://wenku.baidu.com/view/a4434174f46527d3240ce0b4.html

从下列地方可以等到lex 和yacc 工具：

● Mortice Kern System (MKS)，在 www.mks.com，

● GNU flex 和 bison，在 www.gnu.org ，

● Ming，在 www.mingw.org，

● Cygwin，在 www.cygwin.org

“lex”和“yacc”这两个名字所代表的也包括这些工具的 GNU 版本 flex 和 bison

终端和非终端符号，在BNF中使用

终端符号 : 代表一类在语法结构上等效的标记。终端符号有三种类型：
- 命名标记: 这些由 %token 标识符来定义。按照惯例，它们都是大写。lexer 返回命名标记。
- 字符标记 : 字符常量的写法与 C 相同。例如, -- 就是一个字符标记。
- 字符串标记 : 写法与 C 的字符串常量相同。例如，"<<" 就是一个字符串标记。
非终端符号 : 是一组非终端符号和终端符号组成的符号。按照惯例，它们都是小写。

C语言的例子：

http://www.quut.com/c/ANSI-C-grammar-y-1998.html#external-declaration

http://www.quut.com/c/ANSI-C-grammar-l-1998.html

一、词法分析器生成工具 Lex

Lex 为词法分析器或扫描器生成Ｃ程序代码。

使用DFA引擎，匹配正则表达式匹配输入的字符串并且把它们转换成对应的标记，此标记称为终结符（terminals）或者记号（tokens），可以给yacc使用。
如果两个范式匹配相同的字符串，就会使用匹配长度最长的范式。如果两者匹配的长度相同，就会选用第一个列出的范式。
一个 Lex 程序分为三个段：第一段是 C 和 Lex 的全局声明，第二段包括模式（C 代码），第三段是补充的 C 函数。
第一段中：出现在%{和%}之间的部分之间复制到文件lex.yy.c中，它们不当做正则表达式处理。
尽管 lex 和 yacc 几乎总是被同时提到，但是它们可以单独使用。有很多非常有趣、完全用 lex 编写的小程序。使用 yacc 而不使用 lex 的程序比较罕见。下面是可以单独执行的一个lex例子，此例子中：

如果是lex程序，则可能有如下说明：

第一段只有C的全局声明；没有token匹配定义；没有include yacc生成的头文件，此文件可能包含命名标记token的定义；

第二段没有return token 终结符给yacc使用；

第三段必须手动添加yywrap定义；如果和yacc联合使用，则main函数转移到yacc中。main在lex中调用yylex，而在yacc中则调用yyparse，其间接调用yylex。

注意：lex程序的默认输入为stdin。

%{
int nchar, nword, nline;
%}
%%
\n { nline++; nchar++; }
[^ \t\n]+ { nword++, nchar += yyleng; }
. { nchar++; }
%%
int main(void) {
yylex();
printf("%d\t%d\t%d\n", nchar, nword, nline);
return 0;
}
int yywrap()
{
return 1;
}

Lex 变量

yyin FILE* 类型。它指向 lexer 正在解析的当前文件。默认为标准输入。
yyout FILE* 类型。它指向记录 lexer 输出的位置。缺省情况下，yyin 和 yyout 都指向标准输入和输出。
yytext 匹配模式的文本存储在这一变量中（char*）。
yyleng 给出匹配模式的长度。
yylineno 提供当前的行数信息。（lexer不一定支持。）

Lex 函数

yylex() 这一函数开始分析。它由 Lex 自动生成。
yywrap() 这一函数在文件（或输入）的末尾调用。如果函数的返回值是1，就停止解析。因此它可以用来解析多个文件。代码可以写在第三段，这就能够解析多个文件。方法是使用 yyin 文件指针（见上表）指向不同的文件，直到所有的文件都被解析。最后，yywrap() 可以返回 1 来表示解析的结束。
yyless(int n) 这一函数可以用来送回除了前n 个字符外的所有读出标记。
yymore() 这一函数告诉 Lexer 将下一个标记附加到当前标记后。

个人使用心得：

lex文件：

- 其有正则表达式，比yacc文件的规则好使用，个人感觉。。。
- 不能有空格，必须顶行写；
- 使用变量必须用大括号括起来；
- 不能有注释；
- ABNF中描述需要进行转换，如：

filtercomp = and / or --> filtercomp {and} | {or}

filterlist = 1*filter --> filterlist {filter}+

EXCLAMATION = %x21 ; exclamation mark ("!") --> EXCLAMATION \x21

UTF2 = %xC2-DF UTF0 --> UTF2 [\xC2-\xDF]{UTF0}

二、yacc(Yet Another Compiler Compiler)，是一个经典的生成语法分析器的工具

Yacc 的 GNU 版叫做 Bison。
Yacc 文件有 .y 后缀。
yacc 的文法由一个使用BNF文法（BackusNaur form）的变量描述。 BNF 文法规则最初由 JohnBackus和 Peter Naur 发明，并且用于描述Algol60语言。 BNF 能够用于表达上下文无关语言。
yacc的输入是巴科斯范式（BNF）表达的语法规则以及语法规约的处理代码，Yacc输出的是基于表驱动的编译器，包含输入的语法规约的处理代码部分。
yacc是开发编译器的一个有用的工具,采用LALR(1)语法分析方法。
Yacc为语法分析器或剖析器生成Ｃ程序代码。 Yacc使用特定的语法规则以便解释从Lex 得到的标记并且生成一棵语法树。
是Unix/Linux上一个用来生成编译器的编译器（编译器代码生成器）。yacc生成的编译器主要是用C语言写成的语法解析器（Parser），需要与词法解析器Lex一起使用，再把两部份产生出来的C程序一并编译。yacc本来只在Unix系统上才有，但现时已普遍移植往Windows及其他平台。
Yacc 程序也用双百分号分为三段。它们是：声明、语法规则和 C 代码。
每个 Yacc 声明段声明了终端符号和非终端符号（标记）的名称，还可能描述操作符优先级和针对不同符号的数据类型。
yacc 文件的第一部分定义了解析器将要处理和生成的对象。在一些情况下，它可以是空的，但是更常见的是，它应该至少包含一些%token 指令。这些指令用来定义 lexer 可以返回的记号。当使用 -d 选项来运行 yacc 时，它会生成一个定义常量的头文件。
%token --- terminate字符
%type --- 非terminate字符
%union --- 定义yystype
%left
%right
%noassoc

三、下面是一个yacc和lex结合的例子：

lex file

要求所有定义必须顶格对齐；

如果没有声明yylval，则采用默认值；

%{
        #include "y.tab.h"
        #include <stdio.h>
        #include <string.h>
        extern char* yylval;
%}
char [A-Za-z]
num [0-9]
eq [=]
name {char}+
age {num}+
%%
{name} { yylval = strdup(yytext);
 return NAME; }
{eq} { return EQ; }
{age} { yylval = strdup(yytext);
return AGE;}
%%
int yywrap(){
  return 1;
}

yacc file

要求%%，%{，%}必须顶格对齐

当yacc发现一个解析错误，默认动作是调用yyerror

定义三个token，在lex中被return。

%{
       typedef char* string;
        #define YYSTYPE string
%}
        %token NAME EQ AGE
%%
        file : record file
        | record
        ;
        record : NAME EQ AGE {
        printf("%s is %s years old!!!\n", $1, $3); }
%%
        int main()
        {
        yyparse();
        return 0;
        }
        int yyerror(char *msg)
        {
        printf("Error encountered: %s \n", msg);}

执行cat y.tab.h

#ifndef YYERRCODE
#define YYERRCODE 256
#endif

#define NAME 257
#define EQ 258
#define AGE 259

执行步骤：

yacc -d file.y

lex file.l

cc lex.yy.c y.tab.c -o file.exe

执行结果：

a=5
a is 5 years old!!!

afds = 32
  afds is 32 years old!!!

a=32
a is 32 years old!!!

tt=

fd
Error encountered: syntax error

四、修改后的例子

yacc文件

%union会生成为yylval的定义

#define NUMBER 257
#define NAME 258
#define EQ 259
#define AGE 260
typedef union {
        long    value;
        char *p;
} YYSTYPE;
extern YYSTYPE yylval;

%union {
        long    value;
        char *p;
}
%token <value>  NUMBER
%token <p> NAME EQ AGE
%%
        file : record file
        | record
        record : NAME EQ NUMBER {
        printf("%s is %d years old!!!\n", $1, $3); }
%%
        int main()
        {
        yyparse();
        return 0;
        }
        int yyerror(char *msg)
        {
        printf("Error encountered: %s \n", msg);}

lex文件

删除了yylval声明

%{
        #include "y.tab.h"
        #include <stdio.h>
        #include <string.h>
%}
char [A-Za-z]
num [0-9]
eq [=]
name {char}+
age {num}+
%%
{name} { yylval.p = strdup(yytext);
 return NAME; }
{eq} { return EQ; yylval.p = strdup(yytext);}
{age}   {
                yylval.value = strtol(yytext, 0, 10);
                return NUMBER;
        }
%%
int yywrap(){
  return 1;
}
%{
        #include "y.tab.h"
        #include <stdio.h>
        #include <string.h>
%}
char [A-Za-z]
num [0-9]
eq [=]
name {char}+
age {num}+
%%
{name} { yylval.p = strdup(yytext);
 return NAME; }
{eq} { return EQ; yylval.p = strdup(yytext);}
{age}   {
                yylval.value = strtol(yytext, 0, 10);
                return NUMBER;
        }
%%
int yywrap(){
  return 1;}

在lex和yacc文件中声明、定义函数；

在lex文件中一般需要执行yylval = strdup(yytext); 这个yylval需要在yacc中delete。

在yacc文件中一般需要执行字符串串联，如$1和$2需要串起来，采用strdup存储到$$中，否则无法向上反馈。

调试方法，lex文件编译时lex -d file.l；而yacc文件的main中定义yy_flex_debug = 1；这样cc编译才能通过！

lex文件过滤掉空格等，否则有时有莫名其妙的空格打印。[ \t\v\n\f] {}

为了检测出不应该出现的字符，lex文件最后加：. {return ERROR;}匹配检查，但同时要过滤掉“\0" {}匹配动作，否则总是失败。