ベイズ推定と最尤推定の比較

ベイズ推定と最尤推定を比較してみよう。

確率分布が、ある母数パラメータによって記述できるとする。このパラメータを用いて表現された確率分布を、確率モデル(本記事では尤度関数でも差し支えない)と呼ぶ。

最尤推定では、この確率モデルを母数の関数とみなし、確率が最大になるようなパラメータを、一番もっともらしいパラメータとして推定する手法である。

例えば、あるデータが正規分布に従っていると仮定する。この時、確率モデルは分散及び平均を表す2つの母数でパラメタライズされる。確率を最大化する点は、各パラメータに対する偏微分が0になるものである。こうして得られた2つの式を連立してとけば、最尤推定された平均＆分散を算出できる。

一方ベイズ推定は、ベイズの定理を用いることで、母数の確率分布(事後分布)を推定する手法である。まず、母数に対する何らかの知見があって、「母数パラメータは平均が1で分散が0.1の正規分布に従っている」などのような事前情報があるとする。このような、母数パラメータの確率分布を事前分布と呼ぶ。ベイズの定理とは、この事前分布と確率モデルの2つから、さらに正確な母数パラメータの確率分布(事後分布)を求める定理である。

なので結論として、ベイズ推定と最尤推定は、推定する対象が異なる。後者はパラメータそのもの、前者はパラメータの分布を求める手法である。ここだけ見ると、「直接パラメータを推定できる最尤推定の方が偉いじゃん」と勘違いする人もいるだろう。実はベイズ推定にある手法を組み合わせれば、ちゃんともっともらしいパラメータを推定することができる。それは、事後分布の確率最大化である。ベイズ推定によって得られた事前分布は、パラメータの確率分布である。従ってこれを最大にするようなパラメータこそが、「もっとも確率の高い母数」＝「真の母数？」であると考えることができる。

つまり「ベイズ推定＋事後確率最大化」によって、最尤推定と同じように確率を最大化することで、母数パラメータを推定することができるのである。最尤推定との違いは最大化する対象であり、最尤推定は確率モデルの最大化であったのに対し、「ベイズ推定＋事後確率最大化」は「事前分布×確率モデル」の最大化である。

もちろん事前分布の有無によって推定結果は変化する。従って、パラメータに対する事前情報がない場合には、最尤推定が無難と言える。事前情報があり、それが有益であるなら、「ベイズ推定＋事後確率最大化」が有利になることは間違いない。ただし注意点として、データ数が少なすぎる場合は事前分布の影響が相対的に大きくなるため、適切な事前分布を与えておかないとマズくなる。一方でデータ数が多くなってくると、最尤推定との違いはなくなってくる。

以上は「ベイズ推定＋事後確率最大化」と最尤推定の比較であった。そもそものベイズ推定は、パラメータをリジッドに推定することではなく、そのもっともらいしい確率分布を推定することであった。そういう意味では、”点”推定の最尤推定に比べ、多くの有益な情報も同時に取得できると言える。例えば、推定結果の信頼度である。仮に事後分布がある特定のパラメータを中心とするデルタ関数に近くなれば、その推定値の信頼度はかなり高いと言えるだろう。実際、ベイズ推定を繰り返していけば(過去の事後分布を次の事前分布にして推定を繰り返す)、事後分布はだんだんと急峻な分布になってくる傾向があり、パラメータの信頼度が上昇していくことがわかる。このように、事後分布の偏りに基づいて分かるパラメータの信頼度を、「信用区間」と呼ぶ。文字通り、この区間に真のパラメータがくる確率は高いと解釈できる。

余談だが、最尤推定の場合も、「信頼区間」の計算により、推定したパラメータの信頼度(の亜種)を計算することは可能である。ただし、信頼区間の定義は仮説検定に基づくものであり、上記の信用区間とは少し異質である。具体的には、信頼区間は「頻度」に基づいて算出されるもので、仮説を前提とした時に、それを満足するデータが得られる頻度に対応する。例えば、最尤推定して得られた推定値を真のパラメータと仮定しよう(帰無仮説)。全データ中には、この値とはかけ離れたデータもあるだろう。一方で大部分のデータはさほどかけ離れていない。このような場合は、上記の仮説を棄却することはできないのである。この時の「かけ離れているか否か」の基準となる区間が、信頼区間である。

以上のように、ベイズ推定と最尤推定は、

①推定対象

②推定したパラメータの正当化の仕方

が根本的に違うことがわかる。特に②に関しては、仮説検定を用いないベイズ推定の方が直感的でわかりやすいと思える。

ベイズ推定の考え方を学ぶのであれば、下記の参考書が大変お勧めである。