言語理論とコンパイラ

第六回: 字句解析と構文解析

2014 年 5 月 16 日

http://www.sw.it.aoyama.ac.jp/2014/Compiler/lecture6.html

Martin J. Dürst

今日の予定

(資料は前回のもの)

ミニテストについて
flex の宿題について
正規言語などの限界
字句解析と構文解析の違い
文脈自由文法
プッシュダウンオートマトン

`flex` の宿題: 日付の字句解析

提出期限と場所: 2010 年 5 月 22 日 (木) 19:00、O-529 前の箱に投入
テスト用のファイル: 入力の例、出力の例
不可能な日付など (例: 2014-02-29) は無視するようにする:
- 2014-02-28, 2012-02-29, 2014-04-30, 2014-05-31 は日付のため、認識・出力
- 2014-02-29, 2012-02-30, 2014-04-31, 2014-05-32 は日付ではないため、無視
その他の形式 (日付と時刻の組合せ、期間、タイムゾーン) は発展問題

宿題への注意・ヒント

必要に応じて m4 を cygwin の setup.exe で追加インストール
(m4 --version で確認)
簡単なものからスタートして、段階的に進む
flex ファイルの宣言部分 (最初の %% の前) によく使う「部品」を定義
- 定義: YEAR [0-9][0-9][0-9][0-9] (YEAR は左揃え)
- 使用: {YEAR}-{MONTH}-{DAY} /* 処理 */
- 閏年、30日の月、31日の月などに応用可能
出力に yytext を活用:
printf("Month: %c%c", yytext[5], yytext[6]);
前処理、コンパイル、実行、テストを一行に:
flex dates.l && gcc lex.yy.c && ./a <dates_input.txt | diff - dates_check.txt

コンパイラの段階

字句解析 (lexical analysis)

構文解析 (parsing; syntax analysis)

意味解析 (semantic analysis)

最適化 (optimization)

コード生成 (code generation)

形式言語の表

文法	grammar	Type	言語	オートマトン
句構造文法	phrase structure grammar (psg)	0	句構造言語	チューリング機械
文脈依存文法	context-sensitive grammar (csg)	1	文脈依存言語	線形拘束オートマトン
文脈自由文法	context-free grammar (cfg)	2	文脈自由言語	プッシュダウンオートマトン
正規文法	regular grammar (rg)	3	正規言語	有限オートマトン

正規言語・有限オートマトン・正規表現の限界

次のような言語が正規表現などで表せるのか:

記号 ( と ) からなる、式のように入れ子になっている語の言語
記号 0 と 1 からなる、n 個の 0 の後 n 個の 1 の語の言語
記号 a, b, c からなる左右対象の語の言語

これらは全て有限オートマトンの有限のメモリの制約によって受理不可能

字句解析と構文解析

	字句解析	構文解析
解析対象	定数、識別子、予約語、演算子など	式、文、関数など
要点	速さ	能力
記述方法	正規表現	文脈自由文法
(自動) 解析手段	有限オートマトン	プッシュダウンオートマトン

正規文法と文脈自由文法

正規文法 (regular grammar):

右線形文法または左線形文法

文脈自由文法 (context free grammar):

文法の導出規則の左側は全て非終端記号一つ
導出規則の右側は制限なし (非終端記号も終端記号も何個でもよい)
例: A → cBd, B → ccB, S → cBcAd 等
｢自由」の意味: 依存しない、左右されない、関係ない
プログラム言語の構文は周りと関係なくその場で正しいかどうか判断が可能
(意味解析は別)

文脈自由文法の一例

S → aSa | bSb | c

生成する語の例: c, aca, bcb, abaabcbaaba 等

生成する言語: 真ん中に c が一個、周りに a と b が 0 以上対照的に自由な順番で並ぶ

上記の言語を受理するのは、メモリがないため有限オートマトンでは不可能

オートマトンの機能拡張が必要

オートマトンにプッシュダウンスタックをつけよう

プッシュダウンスタック

(pushdown stack)

プッシュダウン記号を記憶
プッシュダウン記号は言語の記号と別
スタックの一番上の記号しか見えない
スタックの一番下は特別な記号 (ボトムマーカ)

A stack of trays at the cafeteria. Only the topmost tray is visible due to a built-in spring.

プッシュダウンオートマトンの一例

a, b, c は言語の記号
スタックは左が上で記述
A/BA はスタックの一番上が A の場合に BA に変更 (B を上乗せ)

プッシュダウンオートマトンの図

プッシュダウンオートマトン

遷移は入力記号とスタックの上に見える記号に依存 (例: a, Z)
遷移でのスタックの動作:
- 一番上のスタック記号を削除 (例: a, B/AB)
- スタックをそのまま保留 (例: c, Z/Z)
- スタックに記号を追加 (例: b, B/ε)
開始時にはスタックにボトムマーカのみ
受理はボトムマーカだけのスタックや受理状態の時 (複数の種類、同等)

決定性と非決定性のプッシュダウンオートマトン

S → aSa | bSb | c の文法の場合、決定性プッシュダウンオートマトンで実現可能
S → aSa | bSb | ε の文法の場合、決定性プッシュダウンオートマトンで実現不可能
理由: 語の真ん中の印がない
有限オートマトンと違って、決定性と非決定性のプッシュダウンオートマトンの性能 (受理能力) が違う

効率よく構文解析できるには可能な限り決定性のある文法が必要

他にも解析の効率に影響を与える文脈自由言語・文脈自由文法の種類が存在

宿題 (提出不要)

C プログラム言語、Java、Ruby、XML など知っている言語やデータ形式の文法を調べなさい。