言語理論とコンパイラ

第八回: yacc 系ツールの使い方

2007 年 6月 8日

http://www.sw.it.aoyama.ac.jp/2007/Compiler/lecture8.html

Martin J. Dürst

duerst@it.aoyama.ac.jp, O 棟 529号室

今日の予定

flex の演習の正解例
先週の宿題
文法の種類
属性文法
bison

flex の演習の正解例

読みやすさのため、コメントを /x x/ にし、スペースを使用

第一案: /x .* x/ 問題: /xx/ /xx/ をまとめて認識

第二案: /x [^x]* x/ 問題: /xxx/ を認識しない

第三案: /x ([^x]|x[^/])* x/ 問題: /x xx/ /x x/ をもとめて認識

第四案: /x ([^x]|x+[^/])* x/ 問題: 以前と同様

第五案: /x ([^x]|x+[^/x])* x/ 問題: /x xx/ を認識しない

第六案: /x ([^x]|x+[^/x])* x+/ 完成!

参考: Mastering Regular Expressions, Jeffrey E.F. Friedl, pp. 168,...

先週の宿題

(提出不要)

次の文法の曖昧性を除去し、曖昧性のない文法を作りなさい。曖昧性がないことを複数の例で確認してください。

E → E '+' E (Expression, 式)

E → E '*' E

E → '(' E ')'

E → integer

ヒント: 非終端記号の追加が必要

高校とかで覚えた「項」と「因子」を使う。

先週の宿題の正解例

E → E '+' T (Expression, 式)

T → T '*' F (Term, 項)

F → '(' E ')' (Factor, 因子)

F → integer

解析の実装: 下向き解析と上向き解析

下向き構文解析 (top-down parsing):

解析木を上から (初期記号から) 作る

バックトラック
再帰的下向き構文解析

上向き構文解析 (bottom-up parsing):

解析木を下から (終端記号から) 作る

途中に複数の (小さな) 解析木がある

下向き構文解析の実装: 簡単な手作りコンパイラ

プログラム: scanner.h, scanner.c, parser.c

左再帰の問題と解決

左再帰の例:

E → E '-' integer | integer

間違った解消 (結合規則が違う):

E → integer '-' E | integer

解消の結果:

E → integer EE

EE → '-' integer EE | ε

これに相当する EBNF:

E → integer ('-' integer)*

文法規則と BNF

文法規則には色々な書き方がある:

一番単純な書き方: 矢印だけ
左側に同じ被終端記号を持つものを複数組み合わせて | で選択を表す
⇒ 根本的に 1. と変わらない (syntactic sugar/糖衣構文)
正規表現の ? の様なもの (あり/無し) の追加 (よく [...] で書く)
⇒ 二つの構文規則に分けることが可能
正規表現の * の様なもの (よく {...} で書く)
⇒ 書き換えが可能

上記の拡張を含む文法規則の書き方は BNF (Backus-Naur Form), EBNF (Extended...), ABNF (Augmented...) などという

EBNF の書き換え

D → a E* b

⇒

D → a F b F → F E | ε

導出の順番: 最左導出と最右導出

簡単な例:

E → F '+' F F → integer

最左導出の場合に、いつもできるだけ左の終端記号を置き換える

文法の種類の呼び方

LL: 左から入力を読んで、最左導出
LR: 左から入力を読んで、最右導出
LL(1): LL で、一つだけトーケンを先読みすればいい
LR(1): LR で、一つだけトーケンを先読みすればいい
LALR: LR (1) の一種で、yacc、bison など幅広く使われる

LALR 構文解析の原理

スタックを使って読んだトーケンや途中の非終端記号を蓄積

オートマトンを使って出来るだけ簡単な操作で次のステップを決める

(LA)LR 構文解析の二つのオペレーション

shift: トークンを一個読んで、そのトークンをスタックにステートと一緒に詰める
reduce: スタックの上部にあるトークンや非終端記号を文法規則を使って一つの終端記号に変換する

属性文法

(attribute(d) grammar(s))

単純な構文解析は「受理」の有無のみ
終端記号、被終端記号に「属性」を付ける
文法規則ごとに、その属性の割り出しを追加情報で定義
属性を解析木の下から上へ計算するのが普通
例: E₁ → E₂ '-' E₃
S(E₁) = S(E₂) - S(E₃)
典型的な属性: 解析木・構文木の部分、式の評価値

bison とは

yacc: yet another compiler compiler
Unix の普及とともに広がった
compiler compiler: コンパイラを作るコンパイラ
yet another: もう一つ、できた当時に compiler compiler が流行りで、他に名前が浮かんで来なかった
bison: yacc の gnu 版

flex と bison の資料

インストール方法
flex のマニュアル (日本語):
http://www.linux.or.jp/JM/html/flex/man1/flex.1.html
bison のマニュアル (英語):
http://www.gnu.org/software/bison/manual/html_mono/bison.html
http://lmj.nagaokaut.ac.jp/gnu_manual/bison-1.28/bison-ja_toc.html

flex と bison の使い方の概要

bison でトークンの種類を記述:
%token NUM PLUS ASTERISK ...
bison で属性値の型の定義
#define YYSTYPE int
flex でそれぞれのトークン用のルールの定義
bison で文法規則の定義
bison で文法の属性の規則の定義
コンパイルとテスト (全項目と合わせて行った方がよい)

make の活用

flex, bison, gcc などを忘れす使うのが難しい
make コマンドは makefile の指定に従い、必要最小限の処理を実行
必要に応じて、make コマンドを cygwin で追加
make ファイルの書き方 (→はタブの意味):
target: input1 input2 input3 ... →target 作成命令
make だけ打つと makefile 内の最初の target が作られる

演習例: 簡単な電卓

スタートのためのファイル: makefile, calc.y, calc.lex