言語理論とコンパイラ

第七回: 下向き構文解析

2010 年 5月 21日

http://www.sw.it.aoyama.ac.jp/2010/Compiler/lecture7.html

Martin J. Dürst

© 2005-10 Martin J. Dürst 青山学院大学

目次

• 宿題について
• 先週からの残り
• 構文解析の要点
• 解析木と構文木
• 上向き構文解析と下向き構文解析
• 下向き構文解析
• 再帰的下向き構文解析

前々回からの宿題: Flex

[都合により削除]

前回の宿題

C プログラム言語など知っている言語やデータ形式の文法を調べなさい (提出不要):

C プログラム言語の文法の例 (yacc 形式; typedef に要注意)

Java プログラム言語の文法 (BNF 形式)

Ruby プログラム言語の文法 (図)

前回からの残り

前回のまとめ

• 正規表現やそれと同等の表現力を持つツールには限界
  (例: 括弧の入れ子構造など)
• 正規表現などは構文解析には使えないが、字句解析には有効
• コンパイラで字句解析と構文解析に分けると構造が鮮明、実行が高速
• (プログラム) 言語などの文法は文脈自由文法で記述可能
• 文脈自由文法はプッシュダウンオートマトンで受理可能

構文解析の目的

• 入力の受理・非受理の判定
• 入力の処理:
  • 結果の直接計算 (「電卓」など)
  • 構文木の作成
• エラーの分かりやすい報告

構文解析の難しさ

• 決定性と非決定性のプッシュダウンオートマトンの受理能力が違う
• 一般の文脈自由文法を受理できるアルゴリズムは O(n³)
• O(n) のアルゴリズムが好ましいが、そのために文法の制限が必要
• 構文解析の研究では長年、様々な解析方法が研究されてきた:
  • 人間に分かりやすい文法
  • 制限が少ない文法
  • 手作業で解析機が実装できる文法
  • 自動で解析機が実装できる文法

構文解析の結果: 解析木と構文木

解析木 (parse tree, concrete syntax tree):

• 葉は終端記号と (分析の途中の場合) 被終端記号
• 節は非終端記号
• 文法や解析方法の研究に使われる

構文木 (抽象構文木、abstract syntax tree):

• 葉は終端記号の一部 (識別子、定数など)
• 節は被終端記号の一部に相当するが、終端記号の一部 (演算子、予約語) などをラベルに使う
• 一部の終端記号は無視 (括弧類など)

解析木と構文木の例

文法:

E → E '+' E    (Expression, 式)

E → E '*' E

E → '(' E ')'

E → integer

入力の例:

5 + 3 * (7 + 2)

解析の実装: 下向き解析と上向き解析

下向き構文解析 (top-down parsing):

解析木を上から (初期記号から) 作る

上向き構文解析 (bottom-up parsing):

解析木を下から (終端記号から) 作る

途中に複数の (小さな) 解析木がある

下向き解析の一般概要

• 文法を初期記号から展開する
• 選択肢があれば順番に試してみる
• 終端記号まで展開したらこれを入力と比べる
  • 合ったら続く
  • 合わなかったら戻って (バックトラック、backtracking)、違う選択を試す

バックトラックの要点

バックトラックの遅さへの対策:

• 文法の書き方に注意: バックトラックが少ないように文法を書きかえる
• 途中の結果の記憶 (packrat parser)

次のトークンしか見なくてよい文法に限定したい

再帰的下向き構文解析

• 下向き構文解析は非終端記号ごとに関数一つを作成
• 文法に再帰的な要素がある
  例 (代入式/assignment operation): A → variable '=' A | integer
  

下向き構文解析の実装: 簡単な手作りコンパイラ

プログラム: scanner.h, scanner.c, parser1.c, parser.c

曖昧な文法

• 例: 5 + 3 * 7 は (5+3) * 7 か 5 + (3*7) か
• 文法が両方の解釈を許す
• (形式) 言語の定義には問題ないが
• ある入力に対して複数の解析木を許す文法は曖昧な文法 (ambiguous grammar) と言う
• 一部の文法の場合、変換によって曖昧性が取り除かれる
• 変換のアルゴリズムや変換が可能かどうかを決めるアルゴリズムは存在しない
• 曖昧な文法は言語の構文だけの定義には使えるが、プログラム言語やデータ形式には向いてない
• 文法の曖昧性とプッシュダウンオートマトンの非決定性は同じものではない
  (例: 左右対称の文字列)

文法の曖昧性の除去

問題の例:

E → E '-' E | integer

入力 4 - 5 - 7 に対して複数の解析木が作れる

解析木によって計算結果が違う

解決方法: 文法の書き換え

E → E '-' integer | integer

左再帰の問題と解決

左再帰の例:

E → E '-' integer | integer

間違った解消 (結合規則が違う):

E → integer '-' E | integer

解消の結果:

E → integer EE

EE → '-' integer EE | ε

これに相当する EBNF:

E → integer ('-' integer)*

文法規則と BNF

文法規則には色々な書き方がある:

1. 一番単純な書き方: 矢印だけ
2. 左側に同じ被終端記号を持つものを複数組み合わせて | で選択を表す
   ⇒ 根本的に 1. と変わらない (syntactic sugar/糖衣構文)
3. 正規表現の ? の様なもの (あり/無し) の追加 (よく [...] で書く)
   ⇒ 二つの構文規則に分けることが可能
4. 正規表現の * の様なもの (よく {...} で書く)
   ⇒ 書き換えが可能

上記の拡張を含む文法規則の書き方は BNF (Backus-Naur Form), EBNF (Extended...), ABNF (Augmented...) などという

EBNF の書き換え

M → a N* b

⇒

M → a b | a L b
L → L N

(文脈自由) 文法の書き方の拡張

• 被終端記号を識別子で、終端記号を文字列 (引用符内) で
• →の代わりに = とか ::=
• 任意な部分を [] で囲む (応用正規表現の ? に相当)
• 任意で繰り返し可能な部分を {} で囲む (正規表現の * に相当)
• 複数の選択子を | で区切る

こういう風な記述は EBNF (Extended Backus Naur Form) という

様々な種類 (方言) が存在

文法と正規表現の違い

文法:

• 複数の規則
• 非終端記号、左から右へ導出
• *, (), | は純粋な場合には使わない

正規表現:

• 一つの規則だけ
• 非終端記号なし、「右側」だけ
• *, (), | 以外も実用的な物にはもっと機能がある

正規表現の (簡単な) 規則は文法の (複雑な) 規則一つに相当する

下向き構文解析の問題点

• 効率良い構文解析のためにはかなり限られた文法が必要
• 例:
  

  factor → functioncall | variable | arrayelement
  functioncall → identifier '(' parameters ')'
  variable → identifier
  arrayelement → identifier '[' expression ']'

• factor でどこの規則を選べば良いのか分からない

文法の追加条件

• 曖昧さ無し
• 解析可能
• 効率がよい
• 終了する

⇒ 文法は言語を定義するだけでは不十分

宿題

(提出不要)

次の文法の曖昧性を除去し、曖昧性のない文法を作りなさい。曖昧性がないことを複数の例で確認してください。

E → E '+' E    (Expression, 式)

E → E '*' E

E → '(' E ')'

E → integer

ヒント: 非終端記号の追加が必要