ChunPom’s diary

数学、物理、機械学習に関する話題。あと院試、資格、大学入試まで。

特異点解消定理とベイズ推定

昨今、代数幾何の手法をベイズ推定などの統計的学習理論に応用する取り組みがさかんになっている。

その中でも、日本人フィールズ受賞者の広中平祐が証明した特異点解消定理は、最も中心的な橋渡しをしていると言える。

今回は数式なしに、特異点解消定理がなぜベイズ推定で用いられるようになったかについて説明する。

 

ベイズ推定とは、前回の記事にもあった通り、パラメータの事前分布を、観測したデータを用いて更新し、事後分布を得ることでパラメータの従う真の分布を探求する手法である。

su-butsu-kikaigakusyuu.hatenablog.com

データの情報を事後分布に取り入れるには、確率モデルが必要であるため、ベイズ推定では客観的な事前分布と確率モデルが必要となる。

例えば、事前分布も確率モデルも正規分布にしてしまえば、それらの積分結果である事後分布も正規分布となる(平均や分散のみが変更を受ける)。

 

ところが、別の記事で紹介したように、世界には正規分布以外の分布が山ほどある。

su-butsu-kikaigakusyuu.hatenablog.com

 そのため、たいていのベイズ推定の問題では、事前分布や確率モデルに正規分布以外のモデルを採用する方が望ましい。が、事後分布が解析的に計算できないという問題が生じてくる。

この場合、事後分布はパラメータ空間中に特異点(尖った点や交叉点)を複数持つ構造になってしまうため、推定の良さの評価基準である自由エネルギー経験誤差などの基本値の振る舞いを捉えることができない。

 

そこで登場するのが特異点解消定理である。この定理は、パラメータを変数変換することで(ブローアップと言う)、特異点を解消しようと言う定理。

わかりやすく言うと、特異点は接線が一点にたくさん集中しているようなものなので、接線を1つ1つバラバラにするような操作(=ブローアップ)をすることで任意の点が滑らかになるだろう。つまり、適当な変数変換により、単項式の積に分割できることを保証する定理である。

この特異点解消定理を用いることで、事後分布の元のパラメータ空間から別の空間に写し、自由エネルギーや経験誤差を変換後のパラメータでシンプルに記述することができる。

 

いつか計算例も紹介する予定。

 

理論の詳細は以下の文献をどうぞ。

代数幾何と学習理論 (知能情報科学シリーズ)

代数幾何と学習理論 (知能情報科学シリーズ)

 
ベイズ統計の理論と方法

ベイズ統計の理論と方法