言語理論とコンパイラ

第六回: 字句解析と構文解析

2012 年 5 月 25 日

http://www.sw.it.aoyama.ac.jp/2012/Compiler/lecture6.html

Martin J. Dürst

© 2005-12 Martin J. Dürst 青山学院大学

今日の予定

(資料は前回のもの)

• ミニテスト
• flex の宿題について
• 有限オートマトンなどの限界
• 字句解析と構文解析の違い
• 文脈自由文法
• プッシュダウンオートマトン

flex の宿題: C 言語用の字句解析

提出期限と場所: 2012 年 5 月 31 日 (木) 19:00 まで O 棟 5 階の O-529 号室の前の箱に投入

配布物: C の語句規約 (プログラミング言語 C 第二版、Brian W. Kernighan and Denis M. Ritchie 著、石田晴久訳、共立出版、付録 A2, pp. 232-237)

入力の例、出力の例、発展問題用入力の例、発展問題用出力の例

コンパイラの段階

字句解析 (lexical analysis)

構文解析 (parsing; syntax analysis)

意味解析 (semantic analysis)

最適化 (optimization)

コード生成 (code generation)

形式言語の表

正規表現・正規文法・有限オートマトンの限界

次のような言語が正規表現などで表せるのか:

• 記号 a, b, c からなる左右対象の語の言語
• 記号 ( と ) からなる、式等のように入れ子になっている語の言語
• 記号 0 と 1 からなる、n 個の 0 の後 n 個の 1 の語の言語

これらは全て有限オートマトンの有限のメモリの制約によって受理不可能

字句解析と構文解析

正規文法と文脈自由文法

正規文法 (regular grammar):

• 右線形文法または左線形文法

文脈自由文法 (context free grammar):

• 文法の導出規則の左側は全て非終端記号一つ
• 導出規則の右側は制限なし (非終端記号も終端記号も何個でもよい)
• 例: A → aBb, B → aaB, S → aBaAb 等
• ｢自由」の意味: 依存しない、左右されない、関係ない
• プログラム言語の構文は周りと関係なくその場で正しいかどうか判断が可能
  (意味解析も含まれると文脈自由ではなくなる)

文脈自由文法の一例

S → aSa | bSb | c

生成する言語: 真ん中に c が一個、周りに a と b が 0 以上対照的に自由な順番で並ぶ

生成する語の例: c, aca, bcb, abaabcbaaba 等

上記の言語を受理するのは、メモリがないため有限オートマトンでは不可能

オートマトンの機能拡張が必要

オートマトンにプッシュダウンスタックをつけよう

プッシュダウンスタック

(pushdown stack)

• 受理する言語の記号と別のプッシュダウン記号を記憶できる
• 一番上の記号しか見えない
• 一番下に特別な記号 (ボトムマーカ) がある

プッシュダウンオートマトン

• 遷移は入力記号だけではなく、スタックの上に見える記号にも依存
• 遷移でのスタックの動作 (どれか一つ):
  
  • 一番上のスタック記号を削除
  • スタックをそのまま保留
  • スタックに記号を追加
• 開始時、ボトムマーカだけのスタック
• 受理はボトムマーカだけのスタックや受理状態の時 (複数の種類、同等)

プッシュダウンオートマトンの一例

• a, b, c は言語の記号
• スタックは左が上で記述
• A/BA はスタックの一番上が A の場合に BA に変更 (B を上乗せ)

決定性と非決定性のプッシュダウンオートマトン

• S → aSa | bSb | c の文法の場合、決定性プッシュダウンオートマトンで実現可能
• S → aSa | bSb | ε の文法の場合、決定性プッシュダウンオートマトンで実現不可能
  理由: 語の真ん中の印がない
• 有限オートマトンと違って、決定性と非決定性のプッシュダウンオートマトンの性能 (受理能力) が違う

効率よく構文解析できるには可能な限り決定性のある文法が必要

他にも解析の効率に影響を与える文脈自由言語・文脈自由文法の種類が存在

宿題 (提出不要)

C プログラム言語など知っている言語やデータ形式の文法を調べなさい。