言語理論とコンパイラ

第五回: 字句解析ツール flex

2014 年 5 月 9 日

http://www.sw.it.aoyama.ac.jp/2014/Compiler/lecture5.html

Martin J. Dürst

今日の予定

字句解析の自動化
cygwin の使い方
flex の概要
flex の使い方と演習

前回までのまとめ

(非) 決定性有限オートマトン
(左|右) 線形文法
正規表現 (regular expression)

全て同じ力を持って、お互いに変換可能、正規言語を定義・受理

コンパイラの段階

字句解析 (lexical analysis)

構文解析 (parsing; syntax analysis)

意味解析 (semantic analysis)

最適化 (optimization)

コード生成 (code generation)

コンパイラの構造

前半 (解析) もしくは全体の中心は構文解析
構文解析は字句解析から必要に応じて繰り返しトークンを取得
(getNextToken() のような関数で)
構文解析は必要に応じて意味解析などを呼び出す

字句解析の実装

主な要点:

文字ごとの細かい作業のため、効率が大切
読み込みにバッファを使用

選択肢:

自前で字句分析を作成
ツールの使用

字句解析の自動化

字句解析はコンパイラの初段階
プログラム言語の「単語」を解析・抽出
字句の記述には正規表現が最適
正規表現→NFA→DFA で効率的な実装が可能
手作業での変換は大変 → 自動化

`flex` の概要

字句解析器生成系 (生成器, lexical analyser generator)
lex のオープンソース版、様々な拡張
lex: Unix 付属の字句解析器生成系 (作者の名前は Mike Lesk)
コンパイラなどの字句解析が簡単に記述・作成可能
構文解析器 bison と相性がよい
(Adobe Flex と別物)

cygwin の使い方 (参考)

ls: ディレクトリの内容をリストアップ
mkdir: 新しいディレクトリを作る
cd: 現在のディレクトリを変更する
pwd: 現在のディレクトリを表示する
gcc: C のプログラムをコンパイルする
./a: コンパイルしたプログラムを実行する
notepad filename.l &: cygwin からメモ帳を直接、並行で使用

cygwin とハードディスク (参考)

前提: cygwin のインストール先が C:\cygwin
普通は C:\cygwin の下しか見えない
ユーザ用のホームディレクトリは例えば C:\cygwin\home\user1
pwd で /home/user1 として表示
C:\cygwin からの脱出:
cd /cygdrive/c (MS Windows の C ドライブのトップに移動)

`flex` の使用方法

拡張子 .l の flex 用入力ファイル ((f)lex ファイル) を作成 (例: test.l)
flex で test.l ファイルから lex.yy.c ファイルを作成:
>flex test.l
flex が作成するファイルの名前は lex.yy.c
lex.yy.c を (他のファイルと一緒に) コンパイル

`flex` の使い方

独自のファイル処理 (正規表現によるファイルの一部の認識・変更):
main から yylex() 関数を一回呼ぶ
構文解析から呼ばれる字句解析:
構文解析から yylex() を繰り返し呼んで、トークンを return で返す

今日の演習・宿題では 1.、授業の後半では bison とともに 2.を使用

`flex` の入力形式の一例

        int num_lines = 0, num_chars = 0;
%%
\n      ++num_lines; ++num_chars;
 .       ++num_chars;
%%
main()
{
        yylex();
        printf( "# of lines = %d, # of chars = %d\n",
                num_lines, num_chars );
}

int yywrap () { return 1; }

`flex` の演習 1

前スライドの flex 用プログラムを処理、実行

「flex の入力形式の一例」を test.l にコピー
> flex test.l で lex.yy.c を作成
> gcc lex.yy.c で a.exe を作成
> ./a <file でプログラムを実行

`flex` の入力形式の骨格

宣言など (C 言語)
宣言など (C 言語)
%%
正規表現    実行文 (C 言語)
正規表現    実行文 (C 言語)
正規表現    実行文 (C 言語)
%%
関数など (C 言語)
関数など (C 言語)

`flex` の入力形式の構造

flex 専用の指示と C プログラムの一部分が混在

主に、二つの %% で区切られている三つの部分からなる:

準備・設定部分:
C の #include、グローバル変数の定義と初期化、良く使う字句の定義など
受理する正規表現 (字句規則) とその場合に実行するプログラムの断片
残りの C のプログラム (関数など)

C 言語そのものと違って、改行、字下げが解釈を左右

`flex` の勉強の仕方

マニュアルを読む: 英語、日本語
(宿題の完成には一部マニュアルの使用が必要)
flex の出力 (lex.yy.c) を読む
違う入力に対する flex の出力を比較
flex のソースを読む (flex の字句解析も flex 形式で記述)
オプションによる内部情報の出力 (例: flex -v)

`flex` の基本動作

flex 呼び出し時:
- 正規表現を分析、一つの DFA に統合
- テーブルの作成と初期化
- DFA の処理プログラムのコピー
- .l ファイル内の C 言語の断片のコピー
実行時:
- 文字を順次入力
- できるだけ長い文字列を一つの正規表現でマッチ
- 複数の正規表現で同じ長さの文字列が受理可能な場合、.l ファイルで先のものが優先
- 受理が決定の場合、対応する C コードを実行
- 受理できない場合:
  - 一文字だけそのまま出力
  - 次の文字から処理を再開

`flex` の内部処理

それぞれの正規表現を NFA に変更、
受理状態と実行文を連結
全ての NFA を一つの大きな NFA に合流
NFA を DFA に変換
ある受理状態に複数の実行文があれば、.l ファイルの最初のものだけを残す
入力の場合、最後に通過した受理状態とそれに相当する入力の一を記録、行き止まりの時に使用

`flex` の演習 2

一般のテキストを XML の要素の内容にする場合には次の表に示される変換が必要
flex で (その変換と) 逆変換のプログラムを作成

テキスト	XML
`'`	`'`
`"`	`"`
`&`	`&`
`<`	`<`
`>`	`>`

`flex` の演習 3: 数字の発見

入力をそのまま出力、しかし数字でしたら、その前に >>>、その後に <<< をつけるプログラムを flex で作成

入力例:

abc123def345gh

出力例:

abc>>>123<<<def>>>345<<<gh

ヒント: 正規表現でつかんだ文字列は yytext として使用可能

`flex` の演習 4: 日付の字句解析

提出期限と場所: 2010 年 5 月 22 日 (木) 19:00 まで O 棟 5 階の O-529 号室の前の箱に投入

提出形式:

flex の入力になる .l ファイル
A4 の紙一枚 (必要になれば両面印刷; もっと長くなる場合はホチキス止め)
フォントは等幅、行帳は行が折られないように調整
ファイルの先頭のコメントに学生番号、名前、読み仮名
表紙なし (原点対象)

ISO 8601 は日付と時間の形式の標準 (Wikipedia 参照)。ファイル内に下記の形式の日付と時間を全て認識し、項目ごとに次のように出力する:

Year: 2014

Month: 5

Day: 9

Hours: 12

Minutes: 23

不可能な日付など (例: 2014-02-29) は無視するようにする。その他の形式 (日付と時刻の組合せ、期間、タイムゾーン) は発展問題。


形式	項目	実例
YYYY-MM-DD	Year/Month/Day	2014-05-09
YYYY-MM	Year/Month	2014-05
YYYY	Year	2014
YYYY-DDD	Year/Day	2014-094
YYYY-Www-D	Year/Week/Day	2014-W15-3
HH:MM:SS	Hours/Minutes/Seconds	12:23:47
HH:MM	Hours/Minutes	12:23

`flex` でよく出る問題

.l にエラーがあっても、flex 実行時にエラーは出にくい
対策: 毎回 flex から処理し直す:
> flex file.l && gcc lex.yy.c && ./a <input.txt
flex の指示ではなく C の部分は少なくとも空白一つ字下げが必要
(二番目の %% 以後は不要)
最後の行の後に改行しないと警告
int yywrap () { return 1; } を忘れず

宿題のヒント

正規表現の順番は大切な場合がある
正規表現でマッチした部分は変数 yytext で使える
例: putchar(yytext[0]); (マッチした部分の一番目の文字を出力)
正規表現内の正規表現の記号 (メタ文字) は \ でエスケープするか、"" で囲む必要がある

来週の予定

中間テスト

言語理論とコンパイラ

第五回: 字句解析ツール flex

Martin J. Dürst

今日の予定

前回までのまとめ

コンパイラの段階

コンパイラの構造

字句解析の実装

字句解析の自動化

flex の概要

cygwin の使い方 (参考)

cygwin とハードディスク (参考)

flex の使用方法

flex の使い方

flex の入力形式の一例

flex の演習 1

flex の入力形式の骨格

flex の入力形式の構造

flex の勉強の仕方

flex の基本動作

flex の内部処理

flex の演習 2

flex の演習 3: 数字の発見

flex の演習 4: 日付の字句解析

flex でよく出る問題