夏休みの宿題として,Trevor Hastie,統計的学習の基礎 ―データマイニング・推論・予測―を勉強している.以下は,第2章:教師あり学習の概要 のメモ.

変数の種類と用語

  • 順序付きカテゴリカル変数:値の順序のみに意味があり,計量としての意味がない変数.
  • 記法:
    • :入力変数.
    • :量的な出力.
    • :質的な出力.
    • 変数そのものを指す場合は大文字(),観測値を指す場合は小文字().
    • 行列を指す場合は太字の大文字(),ベクトルを指す場合は,単なる大文字().
    • ベクトル番目の要素の個の観測値をまとめてベクトルで表す場合は,太字で表す().
    • 予測値を指す場合は,ハットを用いる().

予測のための二つの簡単なアプローチ:最近傍法

  • データ数が最近傍法において,有効パラメータ数は
  • 最近傍法の拡張:
    • 最近傍法では各点の重みをで表すが,カーネル平滑化では滑らかな連続変数で表す.
    • 高次元データの場合,距離尺度を特徴づけるカーネルに修正を加える.
    • 最近傍法では近傍領域を定数モデルで表すが,局所重み付け最小二乗法を用いた局所線形モデルでは線形モデルで表す.
    • 入力変数を基底展開して線形モデルを構築すると任意の複雑なモデルを構築できる.
    • 射影追跡法やニューラルネットワークは,非線形変換と線形モデルを構築したもの.

統計的決定理論

  • 期待予測誤差(Expected Prediction Error):
  • EPEを最小化するのは,条件付き期待値:
  • 条件付け:同時分布をのように分解すること.
  • 十分な大きさの訓練データが得られれば,となり,万能な近似モデルとなる.
  • は,集合の要素数を表す.

高次元での局所的手法

  • バイアス-分散分解.平均二乗誤差(MSE)を分解すると,次のようになる..ここで,は訓練データ集合を表す.
  • 制限の強い仮定に基づく線形モデルと,柔軟な最近傍法は両極端な性質を持つ.以降,これらの中間的な性質を持つ方法を学ぶ.

統計モデル,教師あり学習,関数近似

  • 線形基底展開:
    • は入力ベクトルに関する関数や変換を表す.
    • ニューラルネットワークはこの一種であり,
  • 残差二乗和(RSS; Sum of Squared Residuals):
  • 最尤推定:対数尤度関数を最大化するパラメータを採用する.
    • 量的出力:を最小化する.ここで,は,パラメータで特徴づけられたの確率密度関数.加法的誤差モデル()において,ならば,最尤推定は最小二乗法と等価になる.
    • 質的出力:を最小化する.ここで,.交差エントロピーとも呼ぶ.

構造化回帰モデル

  • 残差二乗和に基づいて関数を推定するとする.
  • データ数が有限の場合,関数を一意に求めるために,学習に対して制約を設ける.
    • 制約の強さ:近傍領域の大きさ.
    • 制約の複雑さ:近傍領域で想定する規則性.
  • 等方性の小さい領域を近傍とする局所的な方法は,どのようなものであっても高次元データにうまく適用できない.
  • ノンパラメトリックな推定のためには,大きく分けて3つの方法がある.
    • 粗度に対する罰則:残差二乗和にペナルティ項を追加する..射影追跡回帰や正則化など.ベイジアンの枠組みで理解することができる.
    • カーネル関数による局所関数近似:近傍領域をカーネル関数で表現し,明示的に回帰関数や条件付き期待値を推定する.
    • Dictionary method:基底関数を用いて関数を表現する.

モデル選択と,バイアスと分散のトレードオフ

  • モデルの複雑度が増すと分散が増え,複雑度が減るとバイアスが増える.