言語理論とコンパイラ

第六回: 字句解析と構文解析

2006 年 6月 2日

http://www.sw.it.aoyama.ac.jp/2006/Compiler/lecture6.html

先週の試験

(理論の) 正規表現の復習

一般の文字は自分を表す
横並びは続きを表す
| は選択を表す
* は 0 以上の繰り返しを表す
() は組み合わせを明解にする
優先順位は高い方から *, 横並び、|

正規表現の例

efg: efg
e*fg: fg, efg, eefg, eeefg,...
ef*g: eg, efg, effg, efffg, effffg,...
e(fg)*: e, efg, efgfg, efgfgfg,...
e|f|g: e, f, g
ef|g: ef, g
e(f|g): ef, eg
e(f|g)*: e, ef, eg, eff, efg, egf, egg, efff, effg,...
e|(fg)*: e, fg, fgfg, fgfgfg,...
e|(f|g)*: e, f, g, ff, fg, gf, gg,...
e|fg*: e, f, fg, fgg, fggg, fgggg,...

flex の演習

演習 2

演習 3: テスト入力の例、テスト出力の例

コンパイラの段階

字句解析 (lexical analysis)

構文解析 (parsing; syntax analysis)

意味解析 (semantic analysis)

最適化 (optimization)

コード生成 (code generation)

形式言語の表

文法	grammar	Type	言語	オートマトン
句構造文法	phrase structure grammar (psg)	0	句構造言語	チューリング機械
文脈依存文法	context-sensitive grammar (csg)	1	文脈依存言語	線形拘束オートマトン
文脈自由文法	context-free grammar (cfg)	2	文脈自由言語	プッシュダウンオートマトン
正規文法	regular grammar (rg)	3	正規言語	有限オートマトン

正規表現・正規文法・有限オートマトンの限界

次のような言語が正規表現などで表せるのか:

記号 a, b, c からなる左右対象の語の言語
記号 ( と ) からなる、式等のように入れ子になっている語の言語
記号 0 と 1 からなる、n 個の 0 の後 n 個の 1 の語の言語

これらは全て有限オートマトンの有限のメモリの制約によって受理不可能である。

字句解析と構文解析

	字句解析	構文解析
解析対象	定数、識別子、予約語、演算子など	式、文、関数など
要点	速さ	能力
記述方法	正規表現	文脈自由文法
(自動) 解析手段	有限オートマトン	プッシュダウンオートマトン

正規文法と文脈自由文法

正規文法 (regular grammar):

右線形文法か左線形文法

文脈自由文法 (context free grammar):

文法の導出規則の左側は全て非終端記号一つ
導出規則の右側は制限なし (非終端記号も終端記号も何個も使ってよい)
例: A → aBb, B → aaB, S → aBaAb 等
｢自由」の意味: 依存しない、左右されない、関係ない
プログラム言語の構文は周りが関係なくてその場で正しいかどうか判断できる
(意味解析も含まれると文脈自由ではなくなる)

文脈自由文法の一例

S → aSa | bSb | c

生成する言語: 真ん中に c が一個、周りに a と b が 0 以上対照的に自由な順番に並ぶ

生成する語の例: c, aca, bcb, abaabcbaaba 等

こういう風な言語を受理するのはメモリがないため有限オートマトンでは不可能

オートマトンの機能拡張が必要

オートマトンにプッシュダウンスタックをつけよう

文法と正規表現の違い

文法:

複数の規則
非終端記号、左から右へ導出
*, (), | は純粋な場合には使わない

正規表現:

一つの規則だけ
非終端記号なし、「右側」だけ
*, (), | 以外も実用的な物にはもっと機能がある

正規表現の (簡単な) 規則は文法の (複雑な) 規則一つに相当する

宿題 (提出不要)

C プログラム言語など知っている言語やデータ形式の文法を調べなさい。

言 語理論とコンパイラ