ChunPom’s diary

数学、物理、機械学習に関する話題。あと院試、資格、大学入試まで。

最尤推定とその例題

数学 統計 確率解析

数理統計に置いて、あるパラメータを統計量から推定する方法は色々ある。その中で最も基本となるのが最尤推定である。

最尤推定は、文字通り”最も尤もらしい”ようなパラメータの値を推定値とする手法である。具体的には、観察されるデータ {\displaystyle X_i (i=1,2,..,n)} の起こる確率を知りたいパラメータ(母数 {\displaystyle \theta})で表し、その確率が最大となるような母数を推定値とする。この確率を、{\displaystyle \theta} に対する関数

 

{\displaystyle L(\theta; X_1, X_2,..., X_n)}

 

と見なしたものを尤度関数という。また、これの対数をとったものを対数尤度 {\displaystyle l(\theta; X_1, X_2,..., X_n)}と呼ぶ。多くの確率分布は指数の構造が含まれるため、尤度関数の代わりに対数尤度を最大化する方が便利なことが多い。すなわち、{\displaystyle \frac{\partial{l}}{\partial{\theta}}=0} の方程式をとけば良い。 

{\displaystyle X_i (i=1,2,..,n)} が独立かつ同一分布 {\displaystyle f(\theta;X_i) } に従うとする。この場合の対数尤度は

 

{\displaystyle l(\theta; X_1, X_2,..., X_n)={\rm{log}} L(\theta; X_1, X_2,..., X_n)={\rm{log}} \prod _{i=1}^{n}f(\theta; X_i)=\sum _{i=1}^{n}{\rm{log}} (f(\theta; X_i))}

 

と表せる。

 以下、具体的な例を紹介しよう。

1 指数分布の最尤推定-機械部品の寿命-

2つの機械部品の寿命に対する確率変数を {\displaystyle X_1, X_2} とし、独立に指数分布 {\displaystyle f(x)=\frac{1}{T}e^{-x/T}} 、{\displaystyle (x\gt0)} に従うとする。

(1) {\displaystyle X_1=x_1 X_2=x_2} が観測された場合の {\displaystyle T} の最尤推定値を求めよ。 

(2) {\displaystyle X_1=x_1} は観測されたが、時刻 {\displaystyle t} ではまだ2つ目の部品が稼動状態であった。この時の {\displaystyle T} の最尤推定値を求めよ。

2 超幾何分布の最尤推定-魚のサンプリング-

ある池の中にいる魚の数を推定するたい。 {\displaystyle m} 匹の魚を捕えて印をつけて放ち、再度 {\displaystyle n} 匹の魚を捕えたところ、 {\displaystyle k} 匹の魚に印が付いていた。池にいた魚は何匹だと推定されるか。

 

＜解＞

1(1)

対数尤度は

 

{\displaystyle l(T; x_1, x_2)=\sum _{i=1}^{2}{\rm{log}}\frac{1}{T}e^{-x_i/T}=-2{\rm{log}}T-\frac{x_1+x_2}{T}}

 

と書けるので、これを {\displaystyle T} について微分すれば以下の方程式を得る

  

{\displaystyle -\frac{2}{T}+\frac{x_1+x_2}{T^2}=0}

 

よって、最尤推定値は、 {\displaystyle \hat{T}=\frac{x_1+x_2}{2}} となる。

1(2)

{\displaystyle X_1} に関しては、尤度は {\displaystyle \frac{1}{T}e^{-x_1/T}} で与えられる。{\displaystyle X_2} に関しては、与えられた状況になる確率は

  

{\displaystyle P(X_2\gt t)=\int_{t}^{\infty}ds \frac{1}{T}e^{-s/T}=e^{-t/T}}

 

となる。よって尤度はこれらの積で書け、 

  

{\displaystyle l(T)={\rm{log}}\frac{1}{T}e^{-(x_1+t)/T}=-{\rm{log}}T-\frac{x_1+t}{T}}

 

と表すことができる。よって最尤推定値は、 {\displaystyle \hat{T}=x_1+t} となる。

 

2

{\displaystyle N} 匹の中から、{\displaystyle n} 匹の魚を捕えて {\displaystyle k} 匹の魚に印が付いているような確率は、

  

{\displaystyle L(N)=f(k;N)=\frac{{}_{m} C_k \ {}_{N-m} C_{n-k} }{{}_{N} C_n }}

 

 と表すことができる。これを最大にするような {\displaystyle N} が最尤推定値である。

ただし、前問のように微分はできない。これは {\displaystyle N} が自然数で離散値であるためである。そこで、高校数学でよく目にした以下の手順で尤度を最大することにする。

 

{\displaystyle \frac{L(N+1)}{L(N)}=\frac{(N+1-m)(N+1-n)}{(N+1)(N+1-m-n+k)}}

 

これが1より以上になるか、以下になるかで最大値を判定することができる。すなわち、{\displaystyle \frac{L(N+1)}{L(N)}\lt 1} かつ {\displaystyle \frac{L(N)}{L(N-1)}\gt 1} になる境目の {\displaystyle N} が、最尤推定値である。

 すなわち、{\displaystyle mn/k-1 \gt \hat{N} \gt mn/k} を満たす時なので、最尤推定値はガウス記号を用いて {\displaystyle \hat{N}=[mn/k]} と求まる。ここでガウス記号とは、中身を超えない整数値を吐く演算子である。

この例では、超幾何分布という離散かつ非指数型の分布であったため、わざわざ対数尤度にする必要ない。

 

 もっと練習したい人は、下記の統計検定の問題を使うと良い。

日本統計学会公式認定 統計検定 1級・準1級 公式問題集[2014〜2015年]

日本統計学会公式認定 統計検定 1級・準1級 公式問題集[2014〜2015年]

 
日本統計学会公式認定 統計検定 1級・準1級 公式問題集[2016〜2017年]

日本統計学会公式認定 統計検定 1級・準1級 公式問題集[2016〜2017年]