言語理論とコンパイラ

第八回: 下向き構文解析の実装

2013 年 6 月 7日

http://www.sw.it.aoyama.ac.jp/2013/Compiler/lecture8.html

Martin J. Dürst

© 2005-13 Martin J. Dürst 青山学院大学

今日の内容

• 下向き構文解析
• 再帰的下向き構文解析
• 再帰的下向き構文解析の実装
• 文法の様々な問題と解決
  • 演算の数の制限
  • 優先度
  • 左・右結合
  • 左再起

前回のまとめ

• flex の宿題: コメントや実数のための正規表現
• 様々なプログラミング言語の文法
• BNF, ABNF, EBNF
• 文法の作成方法
• 一般的な構文解析の方法 (CYK アルゴリズム)、文法の Chomsky 標準形
• 構文解析の結果: 解析木と構文木
• 構文解析の実装: 下向き解析と上向き解析

前々回からの宿題: Flex

追加: C のコメントの正規表現

読みやすさのため、コメントを /x x/ にし、スペースを使用

第一案: /x .* x/ 問題: /xx/ /xx/ をまとめて認識

第二案: /x [^x]* x/ 問題: /xxx/ を認識しない

第三案: /x ([^x]|x[^/])* x/ 問題: /x xx/ /x x/ をもとめて認識

第四案: /x ([^x]|x+[^/])* x/ 問題: 以前と同様

第五案: /x ([^x]|x+[^/x])* x/ 問題: /x xx/ を認識しない

第六案: /x ([^x]|x+[^/x])* x+/ 完成!

参考: Mastering Regular Expressions, Jeffrey E.F. Friedl, pp. 168,...

下向き解析の一般概要

• 文法を初期記号から解析木を作成
• 深さ優先で左から解析木を作成
• 選択肢があれば順番に試してみる
• 終端記号まで解析木を展開したら、入力のトークンと比較
  • 一致の場合、続く
  • 一致しない場合、戻って (バックトラック、backtracking)、違う選択を試す

バックトラックの要点

バックトラックの遅さへの対策:

• 文法の書き方に注意: バックトラックが少ないように文法を修正
• 途中の結果を記憶 (packrat parser)
  具体例: treetop (Ruby 用)

次のトークンしか見なくてよい文法に限定した方が望ましい

再帰的下向き構文解析

• 非終端記号ごとに関数を一つ作成
• 関数内で書き換え規則の右側に沿って進む
  • 文法に終端記号がある場合、入力と比較
  • 文法に非終端記号がある場合、その記号の関数を乎び出す
  • 選択子 (|) がある場合、枝分かれ (if など) で対応
  • BNF の繰り返しがある場合、繰り返し (while など) で対応
• できる限りバックトラックを避ける
  (言語設計のときに考慮)
• 手書きの構文解析に最適
• 名前の由来: 文法の再帰的な要素
  例: A → variable '=' A | integer (代入式/assignment operation)
  

下向き構文解析の実装: 簡単な手作りコンパイラ

プログラム: scanner.h, scanner.c, parser1.c

コンパイルと実行: gcc scanner.c parser.c && ./a

再帰的下向き構文解析の詳細: 字句解析

(scanner.c 参照)

• 不変条件 (invariant):
  • 次に検討すべき文字を nextChar に保持 (one-character lookahead)
  • 文字の消化後、すぐ次の文字を nextChar に読み込む
• nextChar がグローバル変数だが、グローバル変数なしの実装も可能
• 構文解析からの使い方:
  • initScanner で初期化
  • getNextToken で次々とトーケンを読む
• getNextToken の実装:
  • 一文字のトークンはその場で判断
  • 複数文字のトークンは一文字目で判断、専用の関数で読み終わる

再帰的下向き構文解析の詳細: 構文解析

(parser1.c 参照)

• 不変条件 (invariant、字句解析と同様):
  • 次に検討すべきトークンを nextToken に保持 (one-token lookahead)
  • トークンの消化後、すぐ次のトークンを nextToken に読み込む
• nextToken がグローバル変数だが、グローバル変数なしの実装も可能
• 全体的な使い方:
  • initScanner と getNextToken で準備
  • 文法の初期記号に相当する関数 (例: Expression()) を呼び出す
  • その結果 (構文木又は評価結果) をさらに処理

再帰的下向き構文解析の詳細: 非終端記号

• 文法の非終端記号ごとに関数を作成
• 関数内に非終端記号の書き換え規則全てに対応
• 書き換え規則の右側に非終端記号があれば、それに相当する関数を呼び出す
• 書き換え規則の右側に終端記号があれば、nextToken と比較

左再帰の問題と解決

(left recursion)

左再帰の例:

E → E '-' integer | integer

間違った解消 (結合規則が違う):

E → integer '-' E | integer

解消の結果:

E → integer EE

EE → '-' integer EE | ε

これに相当する EBNF:

E → integer {'-' integer}

文法と正規表現の違い

文法:

• 複数の規則
• 非終端記号、左から右へ導出
• 純粋な文法の場合、*, (), | は使用不可能

正規表現:

• 一つの規則に限定
• 非終端記号なし、「右側」だけ
• 実用的な正規表現には *, (), | 以外にも多数の機能

正規表現の (簡単な) 規則は文法の (複雑な) 規則一つに相当する

下向き構文解析の問題点

• 効率良い構文解析のためにはかなり限られた文法が必要
• 先読みが必用な文法への対応が難しい
  例:
  

  Factor → FunctionCall | Variable | ArrayElement
  FunctionCall → Identifier '(' Parameters ')'
  Variable → Identifier
  ArrayElement → Identifier '[' Expression ']'

  (Factor でどこの規則を選べば良いのか不明)

文法の追加条件

解析方法によって、文法への条件が増える:

• 効率がよい
• 解析可能
• 終了する (例: 左再起なし)
• 曖昧性無し

⇒ 文法は言語を定義するだけでは不十分

結論

• 再帰的下向き構文解析では
  文法規則を手作業で簡単に
  解析プログラムに変更可能
• 文法の制限や修正が必要
• 制限の少ない実装はほしい
• 自動的な実装がほしい

→上向き構文解析 (bottom-up parsing)

次回への準備

• 下向き構文解析の実装を拡張 (提出不要)
• cygwin で flex, bison, make, gcc がインストール済みの確認
• bison の演習のためノートパソコンを持参