言語理論とコンパイラ

第八回: 下向き構文解析の実装

2014 年 5 月 30日

http://www.sw.it.aoyama.ac.jp/201/Compiler/lecture8.html

Martin J. Dürst

今日の内容

下向き構文解析
再帰的下向き構文解析
再帰的下向き構文解析の実装
文法の様々な問題と解決
- 演算の数の制限
- 優先度
- 左・右結合
- 左再起

前回のまとめ

flex の宿題: 日付のための正規表現
C 言語のコメントのための正規表現
様々なプログラミング言語の文法
文法の作成方法
構文解析の結果: 解析木と構文木

前回の残り

一般的な構文解析の方法 (CYK アルゴリズム)、文法の Chomsky 標準形
構文解析の実装: 下向き解析と上向き解析
BNF, ABNF, EBNF

下向き解析の一般概要

文法を初期記号から解析木を作成
深さ優先で左から解析木を作成
選択肢があれば順番に試してみる
終端記号まで解析木を展開したら、入力のトークンと比較
- 一致の場合、続く
- 一致しない場合、戻って (バックトラック、backtracking)、違う選択を試す

バックトラックの要点

バックトラックの遅さへの対策:

文法の書き方に注意: バックトラックが少ないように文法を修正
途中の結果を記憶 (packrat parser)
具体例: treetop (Ruby 用)

次のトークンしか見なくてよい文法に限定した方が望ましい

再帰的下向き構文解析

(recursive decent parsing)

非終端記号ごとに関数を一つ作成
関数内で書き換え規則の右側に沿って進行
- 文法に終端記号がある場合、入力と比較
- 文法に非終端記号がある場合、その記号の関数を乎び出す
- 選択子 (|) がある場合、枝分かれ (if など) で対応
- BNF の繰り返しがある場合、繰り返し (while など) で対応
できる限りバックトラックを避ける
(言語設計のときに考慮)
手書きの構文解析に最適
名前の由来: 文法の再帰的な要素
例: A → variable '=' A | integer (代入式/assignment expression)

下向き構文解析の実装: 簡単な手作りコンパイラ

プログラム: scanner.h, scanner.c, parser1.c

コンパイルと実行: gcc scanner.c parser.c && ./a

再帰的下向き構文解析の詳細: 字句解析

(scanner.c 参照)

不変条件 (invariant):
- 次に検討すべき文字を nextChar に保持 (one-character lookahead)
- 文字の消化後、すぐ次の文字を nextChar に読み込む
nextChar がグローバル変数だが、グローバル変数なしの実装も可能
構文解析からの使い方:
- initScanner で初期化
- getNextToken で次々とトーケンを読む
getNextToken の実装:
- 一文字のトークンはその場で判断
- 複数文字のトークンは一文字目で判断、専用の関数で読み終わる

再帰的下向き構文解析の詳細: 構文解析

(parser1.c 参照)

不変条件 (invariant、字句解析と同様):
- 次に検討すべきトークンを nextToken に保持 (one-token lookahead)
- トークンの消化後、すぐ次のトークンを nextToken に読み込む
nextToken がグローバル変数だが、グローバル変数なしの実装も可能
全体的な使い方:
- initScanner と getNextToken で準備
- 文法の初期記号に相当する関数 (例: Expression()) を呼び出す
- その結果 (構文木又は評価結果) をさらに処理

再帰的下向き構文解析の詳細: 非終端記号

文法の非終端記号ごとに関数を作成
関数内に非終端記号の書き換え規則全てに対応
書き換え規則の右側に非終端記号があれば、それに相当する関数を呼び出す
書き換え規則の右側に終端記号があれば、nextToken と比較

左再帰の問題と解決

(left recursion)

左再帰の例:

E → E '-' integer | integer

間違った解消 (結合規則が違う):

E → integer '-' E | integer

解消の結果:

E → integer EE

EE → '-' integer EE | ε

これに相当する EBNF:

E → integer {'-' integer}

文法と正規表現の違い

文法:

複数の規則
非終端記号、左から右へ導出
純粋な文法の場合、*, (), | は使用不可能

正規表現:

一つの規則に限定
非終端記号なし、「右側」だけ
実用的な正規表現には *, (), | 以外にも多数の機能

正規表現の (簡単な) 規則は文法の (複雑な) 規則一つに相当する

下向き構文解析の問題点

効率良い構文解析のためにはかなり限られた文法が必要

先読みが必用な文法への対応が難しい
例:

Factor → FunctionCall | Variable | ArrayElement
FunctionCall → Identifier '(' Parameters ')'
Variable → Identifier
ArrayElement → Identifier '[' Expression ']'

(Factor でどこの規則を選べば良いのか不明)

文法の追加条件

解析方法によって、文法への条件が増える:

効率がよい
解析可能
終了する (例: 左再起なし)
曖昧性無し

⇒ 文法は言語を定義するだけでは不十分

結論

再帰的下向き構文解析では
文法規則を手作業で簡単に
解析プログラムに変更可能
文法の制限や修正が必要
制限の少ない実装はほしい
自動的な実装がほしい

→上向き構文解析 (bottom-up parsing)

次回への準備

下向き構文解析の実装を拡張 (提出不要)
cygwin で flex, bison, make, gcc がインストール済みの確認
bison の演習のためノートパソコンを持参