データ構造とアルゴリズム

第十二回 (2014年12月12日)

動的計画法

http://www.sw.it.aoyama.ac.jp/2014/DA/lecture12.html

Martin J. Dürst

© 2009-14 Martin J. Dürst 青山学院大学

目次

• 前回の残り・まとめ
• アルゴリズムの設計方針
• 動的計画法の概要
• 応用例: 行列の連鎖乗算の順番
• Ruby による動的計画法

前回の残り・まとめ

(Boyer-Moore のアルゴリズム、文字列照合と文字コード)

アルゴリズムの設計方針

• 単純なアルゴリズム
• 分割統治法 (divide and conquer)
  
• 動的計画法 (dynamic programming)

動的計画法の概要

(dynamic programming)

• (最適) 解の構造を調査、明記
• (最適) 解の値を再帰的に定義
• ボトムアップで (最適) 解の値を算出
• 計算した情報から (最適) 解を構築

1950 年代ごろに Richard Bellman によって提唱

動的計画法の単純な例

• フィボナッチ関数 f(n) の定義:
  • 0 ≦ n ≦ 1: f(n) = n
  • n ≧ 2: f(n) = f(n-1) + f(n-2)
• 再帰的な定義のため、実装が簡単
• n が大きくなると実行が非常に遅い
• 遅さの理由: 同じ計算の繰り返し
  (f(n) の計算の場合、f(1) は f(n) 回に評価)
• 計算の順番の変更や途中結果の記憶で加速が可能

行列の乗算

• r₀ × r₁ の行列 ₀M₁ と
• r₁ × r₂ の行列 ₁M₂ の乗算 (₀M₁· ₁M₂ ⇒ ₀M₁M₂) の結果は
• r₀ × r₂ の行列 ₀M₂
• 乗算の計算量は r₀r₁r₂ の掛け算と
  r₀(r₁-1)r₂ の足し算で O(r₀r₁r₂)
• 掛け算と足し算の数がほぼ同等のため、掛け算の数を目安に
• 具体例: r₀=100, r₁=2, r₂=200
  ⇒掛け算の数: 100×2×200 = 40,000

三行列の連鎖乗算

• 三つ (以上) の行列の乗算:₀M₁· ₁M₂ · ₂M₃
• 行列の乗算において結合律が成立
• 計算の順番は複数: (₀M₁· ₁M₂) · ₂M₃ 又は
  ₀M₁· (₁M₂ · ₂M₃)
  (即ち、 ₀M₂M₃ 又は ₀M₁M₃)
• r₀=100, r₁=2, r₂=200, r₃=3 の場合、
  乗算の順番による掛け算の数:

  (₀M₁· ₁M₂) · ₂M₃: 100×2×200 + 100×200×3 = 100,000
  ₀M₁· (₁M₂ · ₂M₃): 2×200×3 + 100×2×3 = 1,800
  

乗算の順番の数

• 最初少なく見えるが、爆発
• パスカルの三角形の中心の数 (1, 2, 6, 20, 70,...)
  を整数 (1, 2, 3, 4, 5,...) で割ったもの
• カタラン数 (Catalan number)
  C_n = (2n)!/(n!(n+1)!)
  = Ω(4ⁿ/n^3/2)
  
• 応用が豊富:
  • 括弧対の組み合わせの数
  • 二分木の数
  • (凸) 多角形の三角分割

乗算の最適な順番

• 総当たりで決めるのが無理
• 最低の計算コスト (スケーラ乗算の数、足し算は無視):
  • mincost(a, c) は _aM_c の最低の計算コスト
    • if a+1 ≧ c, mincost(a, c) = 0
    • if a+1 < c, mincost(a, c) = min^c-1_b=a+1 (cost(a, b, c))
      
  • cost(a, b, c) は _aM_bM_c の計算コスト
    • _aM_c の計算を分岐点 b で行うコスト
    • cost(a, b, c) = mincost(a, b) + mincost(b, c) + r_ar_br_c
• Ruby による単純な実装: Cmatrix.rb の MatrixSlow

最適化の順番と途中結果の記憶

• mincost(0, n) から再帰的に計算が可能 (下向き、トップダウン、top-down)
• 同じ mincost(x, y) が何回も計算される
• 下から計算 (上向き、ボトムアップ、bottom-up):
  • 長さ k (k が順番に 2,...,n) の連鎖乗算の最低コストを計算
  • 計算結果を記憶、再利用
• Ruby による実装: Cmatrix.rb の MatrixPlan

計算の実例

連鎖乗算の最適化の計算量

• mincost(a, c) の計算量は O(c-a)
• 全ての mincost(a, a+k) はO((n-k)·k)
• 合計の計算量は ∑ⁿ_k=1 O((n-k)·k) = O(n³)

動的計画法では問題の構造によって O(n³), O(n²), O(n),
O(nm) 等さまざまな計算量

動的計画法の概要 (再確認)

• (最適) 解の構造を調査、明記
• (最適) 解の値を再帰的に定義
• ボトムアップで (最適) 解の値を算出
• 計算した情報から (最適) 解を構築

動的計画法の基本要素

• 部分構造の最適性 (optimal substructure)
  全体の (最適) 解が部分問題の (最適) 解から構築可能
• 部分問題の重複 (overlapping subproblems, 分割統治法との相違点)
• 履歴管理 (memoization)

Ruby による履歴管理

• 関数の変更:
  • 引数をキーに結果をハッシュ等に記録
  • 実際の計算の前に記録を確認、使用
• この技法は memoize と言う
• Ruby ではメタプログラミングによって実装可能
• 簡単な応用例: Cfibonacci.rb

まとめ

• 動的計画法はアルゴリズムの設計方針の一つ
• 全体の解が部分の解から得られるが、部分が重複する問題に最適
• 計算量は問題の構造に依存

宿題

• 復習
• 三つの動的計画法を使うアルゴリズムを調査