言語理論とコンパイラ

第十回: 上向き構文解析の実装

2013 年 6 月 21 日

http://www.sw.it.aoyama.ac.jp/2013/Compiler/lecture10.html

Martin J. Dürst

© 2005-13 Martin J. Dürst 青山学院大学

今日の予定

• 前回のまとめ
• make の活用
• bison の使い方
• 属性文法
• 優先度と結合方向の取扱い
• 文法の種類
• エラー処理

make の活用

• flex, bison, gcc などを忘れず使うのが難しい
• make コマンドは makefile の指定に従い、必要最小限の処理を実行
• 必要に応じて、make コマンドを cygwin で追加
• make ファイルの書き方 (→はタブ; タブでないとだめ!):
  target: input1 input2 input3 ...
→target 作成命令
• make だけで makefile 内の最初の target が作成
• make target で target が作成
• 注: ファイル名 makefile.txt のではなく必ず makefile

bison の入力形式の一例

%{
#include <stdio.h>
#define YYSTYPE double
int yylex (void);
void yyerror (char const *);
%}
%token NUM PLUS

%%
statement: exp { printf ("Result is %g\n", $1); }
;

exp:      exp PLUS exp { $$ = $1 + $3; }
        | NUM { $$ = $1; }
;

%%
int main (void)
{    return yyparse ();  }
     
void yyerror (char const *s)
{    fprintf (stderr, "%s\n", s);  }

bison の入力形式の骨格

宣言など
%{ C 言語の宣言など %}
%%
書換規則    { 実行文 (C 言語) }
書換規則    { 実行文 (C 言語) }
書換規則    { 実行文 (C 言語) }
%%
関数など (C 言語)
関数など (C 言語)

bison の入力形式の構造

bison 専用の指示と C プログラムの一部分が混在

主に、二つの %% で区切られている三つの部分からなる:

1. 準備・設定部分:
   C の #include、グローバル変数の定義と初期化、良く使う字句の定義など
   C 言語の部分は %{ ... %} に囲む
2. 書換規則とその場合に実行するプログラムの断片
3. 残りの C のプログラム (関数など)

C 言語そのものと違って、改行、字下げが解釈を左右

bison の書換規則の書式

実例:

exp: exp PLUS exp { $$ = $1 + $3; }

   | NUM { $$ = $1; }

;

• 矢印 (→) の代わりに : 使用
• 最後に ; 使用

文法:

書換規則 → 非終端記号 ":" 右辺列 ";" 右辺列 → 右辺 | 右辺 "|" 右辺列 右辺 → 記号列 "{" C言語 "}" 記号列 → 記号 | 記号 記号列 記号 → 非終端記号 | 終端記号

属性文法

(attribute(d) grammar(s))

• 単純な構文解析は「受理」の有無のみ
• 終端記号、被終端記号に「属性」を付ける
• 文法規則ごとに、その属性の割り出しを追加情報で定義
• 属性を解析木の下から上へと計算するのが普通が、
  両方向に計算する仕組みも存在
• 例: E0 → E1 '-' E3
  S(E0) = S(E1) - S(E3)
  bison の場合: $$ = $1 - $3
• 典型的な属性: 木の高さ、入力の長さ、式の評価値、部分解析木・構文木、生成されたコード

flex と bison の使い方の概要

• bison でトークンの種類を記述:
  %token NUM PLUS ASTERISK ...
• bison で属性値の型を定義
  #define YYSTYPE int
• flex でそれぞれのトークン用のルールを定義
• bison で文法規則を定義
• bison で文法の属性の規則を定義
• コンパイルとテスト (全項目と合わせて行った方がよい)

bison の開発のコツ

• テストの入力ファイルを用意
• テストの正解ファイルを用意
• 自動的にプログラムを実行、diff コマンドで比較
• diff から出力がなかったらテスト成功
• テストファースト: テストを追加して、失敗を確認してから実装

calc 用テストファイル: test.in, test.check

bison の仕組みとデバッグ

• bison -v で作った機械の明細のファイルを作成 (例: calc.output)
• #define YYDEBUG 1 でデバッグを ON

曖昧な文法

• 文法の例: E → E '-' E | integer
• 具体例: 5 - 3 - 7 は (5-3) - 7 か 5 - (3-7) か
• 文法が両方の解釈を許す
• (形式) 言語の定義として問題ない
• ある入力に対して複数の解析木を許す文法は曖昧な文法 (ambiguous grammar) と言う
• 一部の文法の場合、変換によって曖昧性が取り除かれる
• 変換のアルゴリズムや変換が可能かどうかを決めるアルゴリズムは存在しない
• 曖昧な文法は言語の構文だけの定義には使えるが、プログラム言語やデータ形式には向いてない
• 文法の曖昧性とプッシュダウンオートマトンの非決定性は同じものではない
  (例: 左右対称の文字列)

文法の曖昧性の除去

問題の例:

E → E '-' E | integer

入力 4 - 5 - 7 に対して複数の解析木が作成可能

解析木によって計算結果が違う

解決方法: 文法の書き換え (左結合の場合)

E → E '-' integer | integer

優先度の取扱い

• 優先度ごとに非終端記号を使用
• 優先度の低い方 (外側) から文法を書く
• 優先度の低い方の右側に同じ優先度
  または一つ高い優先度の日終端記号を使用
• 名前の選び方:
  • 数学の用語 (term (項)、factor (因子) など)
  • 名前の一部に演算子の種類や主な演算子
    (shift_expression, mulExpression など)

結合方向の取扱い

• 左結合の場合:
  • 書き換え規則の左側の非終端記号を演算子の左側
  • 優先度が一つ高い日終端記号を演算子の右側
• 右結合の場合には左右逆

宿題

提出: 来週の木曜日 (6 月 27日) 19 時 00 分、O 棟 529 号室の前

calc.y を、test.in から test.check になるように完成

calc.y を A4 (両面印刷、表紙なし、左上ホチキス止め、名前と学生番号をコメントに記述) で提出

問題点: 出力の改行の差

対応: 改行記号の統一 (notepad2 で File → Line Endings → Unix (LF)); .lex の [ \t\n] を [ \t\n\r] に拡張