言語理論とコンパイラ

第五回: 中間テスト、flex の演習

2009 年 5 月 15 日

http://www.sw.it.aoyama.ac.jp/2009/Compiler/lecture5.html

Martin J. Dürst

© 2005-9 Martin J. Dürst 青山学院大学

今日の内容

• 中間テスト
• 字句解析の自動化
• cygwin の使い方
• flex の概要
• flex の使い方と演習

前回までのまとめ

• (非) 決定性有限オートマトン
• (左|右) 線形文法
• 正規表現 (regular expression)

全て同じ力を持って、お互いに変換可能、正規言語を定義・受理する

字句解析の自動化

• 字句解析はコンパイラの初段階
• プログラム言語の「単語」を解析・抽出
• 字句の記述には正規表現が最適
• 正規表現→NFA→DFA で効率的な実装が可能
• 手作業での変換は大変なので、自動化

cygwin の使い方

• ls: ディレクトリの内容をリストアップ
• mkdir: 新しいディレクトリを作る
• cd: 現在のディレクトリを変更する
• pwd: 現在のディレクトリを表示する
• gcc: C のプログラムをコンパイルする
• ./a: コンパイルしたプログラムを実行する
• notepad filename.l &: cygwin からメモ帳を直接、しかも並行に使える用に立ち上げる

cygwin がハードディスクをどう見ているか

cygwin のインストール先が例えば C:\cygwin だとすると、cygwin はまずそこの下しか見せない。

ユーザ用のホームディレクトリは C:\cygwin\home\user1 とかで、pwd で /home/user1 として表示される。

C:\cygwin の下から脱出したい場合には cd /cygdrive/c でできます。

(昔は cygdrive は秘密でしたが、最近は見えるようになりました)

flex の概要

• lex の GNU 版、様々な拡張
• lex: lexical analyzer (作者の名前は Lesk)
• コンパイラなどの字句解析が簡単に記述可能
• 構文解析機 bison と相性がよい
• (Adobe Flex と別物)

flex の動作

• 拡張子 .l で終わる flex 用入力ファイルを作成 (例: test.l)
• flex で test.l ファイルから lex.yy.c ファイルを作る:
  >flex test.l
• lex.yy.c を (他のファイルと一緒に) コンパイルする

flex の使い方

1. 独自のファイル処理に使う (正規表現によるファイルの一部の認識・変更):

   main から yylex() 関数を一回呼ぶ

2. 構文解析から使う:

   構文解析から yylex() を繰り返し読んで、トークンを return で返すようにする

flex の勉強の仕方

• マニュアルを読む: 英語、日本語
• flex の出力 (lex.yy.c) を読む
• 違う入力に対する flex の出力を比較
• flex のソースを読む (flex そのものの字句解析は flex 形式で書かれている)
• オプションによる内部情報の出力 (例: flex -v)

flex の入力の形式

flex 専用の指示と C プログラムの一部分が混在

主に、二つの %% で区切られている三つの部分からなる:

1. 前文 (変数の定義と初期化、良く使う字句の定義など)
2. 字句規則とその場合に実行するプログラムの部分
3. そのほかの関数など

その三つの部分の間に区切りとして %% がある

flex の入力の形式の一例

        int num_lines = 0, num_chars = 0;
%%
\n      ++num_lines; ++num_chars;
 .       ++num_chars;
%%
main()
{
        yylex();
        printf( "# of lines = %d, # of chars = %d\n",
                num_lines, num_chars );
}

int yywrap () { return 1; }

flex の演習 1

前のスライドの flex 用プログラムをファイルにし、flex と gcc を使って実行ファイルにし、実行してみる。

flex の演習 2

一般のテキストを XML の要素の内容に入れたい場合には次の表に示される変換を行う必要がある。flex でその変換と逆変換を行うプログラムをそれぞれ書く。

flex の演習 3: Ruby 用字句解析

提出期限と場所: 2009 年 5 月 28 日 (木) 19:00 まで O 棟 5 階の O-529 号室の前の箱に投入

提出形式:

• flex の入力になる .l ファイル
• A4 の紙一枚 (必要になれば両面印刷; もっと長くなる場合はホチキス止め)
• 名前、学生番号はコメントとして書く
• 表紙は必要ない (原点対象)

Ruby の次の字句を認識、一行ごとに出力:

発展問題: Ruby の他の字句も対象 (例: 文字列、演算子、正規表現など)。