言語理論とコンパイラ

Martin J. Dürst

duerst@it.aoyama.ac.jp

O 棟 529 号室

第一回 (2012年 4月13日)

授業の概要
コンパイラ全体の仕組み

http://www.sw.it.aoyama.ac.jp/2012/Compiler/lecture1.html

今日の内容

自己紹介
授業の位置づけ・進め方・内容
入力の難しさ
コンパイラの構造
字句解析と構文解析
オートマトンの一例
形式言語の文法の一例

自己紹介

スイスチューリッヒ生まれ
チューリッヒ大学で lic.oec.publ. (修士相当、情報科学専攻、経営学と日本学副専攻)
文部省奨学金で来日、東京大学で理学博士 (情報科学専攻)
チューリッヒ大学情報科学科マルチメディア研究室主任助手
慶應義塾大学政策・メディア研究科特別研究助教授 (W3C プロジェクト)
米マサチューセッツ工科大学客員研究員
World Wide Web Consortium (W3C) 国際化活動責任者
2005年から青山学院大学

授業の位置付け

3 年前期
第二科目群 (選択必修)
ベースになる科目:
- 計算機概論
- 情報数学
- 計算機実習 (プログラミング)

授業の目標

(言語) 理論と応用の関係の理解
ツールによる応用
- コンパイラ
- 文書処理
- 入力の解析
- データ形式の設計
- 小さい言語の設計と実装
  (ドメイン特化言語)

授業の進め方

前方着席
資料配付とウェブ公開
書き込みが重要
一部ノートパソコンで演習
宿題、ミニテスト、期末試験
出席しないと大損

授業の日程

日程

成績評価方法

(当初予定と異なる)

授業中のミニテスト: ~25%
演習課題: ~25%
最終試験: ~50%

授業の内容

	理論	コンパイラ	他の応用
フロントエンド	言語理論、オートマトン	字句解析、構文解析	正規表現, XML
バックエンド		最適化、コード生成

出力より入力に注目
理論から応用まで様々な表現を使う

入力と出力の違いの例

文字そのもの	XML での表現 (エスケープ)
`'`	`'`
`"`	`"`
`<`	`<`
`>`	`>`
`&`	`&`

どの方向の変更 (→ 又は ←) が難しいか

入力の難しさ

構造化されてない (ただのバイト・文字の列)
何でもあり (エラーも含む)
入力が「正しい」かどうかの判断が計算のモデル
入力が「正しい」かどうかが認識と同じ

コンパイラの役割

ソフトからハードへの橋渡し

入力 (input): 人間が分かるプログラム (高級プログラム言語、source (file/program)、ソース (プログラム)、原始プログラム)

出力 (output): 機械が分かるプログラム (object (file/code)、machine code、目的プログラム、実行プログラム)

コンパイラの仕事の一例

入力のプログラムの一部:

sum += price * 25;

出力:

LOAD   R1, price    ; R1 (レジスタ1) に price という名前の場所からロード
CONST  R2, 25       ; R2 (レジスタ2) に 25 の定数を設定
MUL    R1, R1, R2   ; R1 に R1 と R2 の掛け算の結果を入れる
LOAD   R2, sum      ; R2 に sum という名前の場所からロード
ADD    R2, R1, R2   ; R2 に R1 と R2 の合計を入れる
STORE  sum, R2      ; sum という名前の場所に R2 を納める

コンパイラの論理的構造

(compiler)

[プリプロセッサ (preprocessor) ]
字句解析 (lexical analysis)
構文解析 (parsing; syntax analysis)
意味解析 (semantic analysis)
最適化 (optimization)
コード生成 (code generation)
[アセンブラ (assembler)]
[リンカ (linker)・ローダ (loader) ]

コンパイラの種類と関連物

ワンパス・コンパイラ (one pass compiler)
x-パス・コンパイラ (x は 1 から 70 (PL/1))
クロスコンパイラ (cross-compiler)
動的コンパイラ (dynamic/just-in-time (JIT) compiler)
プリプロセッサ (preprocessor)
インタプリタ (通訳系, interpreter)

字句解析の一例

入力のプログラムの一分 (文字の列):

;

出力 (記号の列):

id("sum"), plusequal, id("price"), asterisk, int(25), semicolon

一つの記号 (符、トークン、token) が複数の文字からなる
記号に属性がついていることがある
例: id (identifier、識別子の名前)、int (integer、整数の値)
記号の名前は形の由来が多い (* は mult 等ではなく asterisk)
空白は解析に使われるが出力しない

構文解析の一例

入力 (記号の列):

id("sum"), plusequal, id("price"), asterisk, int(25), semicolon

出力 (構文木、syntax tree):

もう一つの例

price = pretax / 100 * (105 - discount);

オートマトンの一例

自動販売機:

入力: 50円玉
出力: 水 (150円)

状態遷移図 (state transition diagram)

言語と文法

文法は言語の構成規則
簡単な文の例 (命令文): eat bread、read books、play music
文法的には read bread とか play books も正しい

形式言語の文法の一例

S, A: 非終端記号 (nonterminal symbols, 大文字)
a, o, y: 終端記号 (terminal symbols, 小文字)
書き換え規則 (rewriting rules)
S → a S o

S → A

A → y a
S: 初期記号 (initial symbol, start symbol)

文法から文の導出 (derivation) の一例:

S → a S o → a a S o o → a a A o o → a a y a o o

S ⇒ a a y a o o

宿題

提出期限と場所: 2012年4月19日 (木) 19:00 まで O棟5階の O-529 号室の前の箱に投入

形式: A4 一枚、表紙なし

下記一行の C プログラム断片の字句解析の結果、構文解析の結果、そしてコンパイラの出力 (アセンブリ言語; コメントは必要ない; 引き算は SUB、割り算は DIV) を、授業の例に習って書きなさい。
grade = english/2 + math - absent*5;