ChunPom’s diary

数学、物理、機械学習に関する話題。あと院試、資格、大学入試まで。

モーメント母関数と確率分布の一対一対応(一意性)

2つの確率変数 {\displaystyle X,Y} の確率分布 {\displaystyle f(x),g(y)} が等しいことを証明したい。ぞれぞれの確率分布の表式が直接&陽に求めることができるなら話は終わりだが、簡単に求めることが困難な場合も多々ある。このような時数理統計では、それぞれのモーメント母関数を計算し、それが一致することで、元の確率分布も等しいと結論づける。

今回の記事では、なぜこれが成立するのか証明することにする。すなわち、「モーメント母関数と確率分布の一対一対応」を示す。

 

以下、確率変数 {\displaystyle X}{\displaystyle f_X(x)} に従うとする。この時、モーメント母関数 {\displaystyle M_X(\theta)} は、

 

{\displaystyle M_X(\theta)=\int^{\infty}_{-\infty}dx e^{\theta x}f_X(x)}

 

と書ける。特性関数は、虚数に変換して {\displaystyle \phi (\theta)=M_X(i \theta)} と表せる。以下、{\displaystyle a, b, R} を用いて、

\begin{eqnarray*} \int^{R}_{-R}\frac{e^{-i\theta a}-e^{-i\theta b}}{i\theta}\phi(\theta) d\theta &=&\int^{R}_{-R}\frac{e^{-i\theta a}-e^{-i\theta b}}{i\theta} \left(\int^{\infty}_{-\infty}dx e^{i\theta x}f_X(x)\right) d\theta\\&=&\int^{\infty}_{-\infty} (\int^{R}_{-R}d\theta \frac{e^{i\theta (x-a)}-e^{i\theta (x-b)}}{i\theta}) f_X(x) dx\\&=&\int^{\infty}_{-\infty} 2\left(\int^{R}_{0} d\theta \frac{sin(\theta (x-a))-sin(i\theta (x-b))}{\theta}\right) f_X(x) dx \\&=&\int^{\infty}_{-\infty} 2 h(x;a,b,R) f_X(x)dx\end{eqnarray*}

と変形できる。ここで、二番目の等式では、変数の積分の順番を交換している。これは、フビニの定理(=確率変数の積分順番交換に関する定理)により成立する。

ここで、{\displaystyle R \to \infty} において簡単な留数積分を実行すると、{\displaystyle h(x;a,b,R) \to \pi\ (a\lt x \lt b),\ \pi/2\ (x=a,b)} 、それ以外は0となる。

よって、先ほどの結果から、{\displaystyle lim_{R \to \infty}\int^{R}_{-R}\frac{e^{-ita}-e^{-itb}}{i\theta}\phi(\theta) d\theta=2\pi \int^{b}_{a} f_X(x)dx } が予想される( {\displaystyle x=a,b} で確率分布が特異的でないという仮定の下で )。 

しかしそうは問屋がおろさない。これが成り立つには、積分と極限の操作が可換であることを示す必要がある。

が、幸運なことにルベーグの収束定理ないし有界収束定理によってこれも正当化される。

以上より、

 

{\displaystyle \int^{b}_{a} f_X(x)dx=\frac{1}{2\pi}lim_{R \to \infty}\int^{R}_{-R}\frac{e^{-i\theta a}-e^{-i\theta b}}{i\theta}\phi(\theta) d\theta }

 

を得る。ここで、(本当は厳密ではないが) {\displaystyle a=x,b=x+dx} とすれば、

 

{\displaystyle f_X(x)dx=\left( \frac{1}{2\pi}lim_{R \to \infty}\int^{R}_{-R}e^{-itx}\phi(\theta) d \theta \right) dx  }

 

となる。つまり、ルベーグ積分の知識を用いることで、特性関数の逆フーリエ変換が確率分布に一致することを示すことができた。

したがって、モーメント母関数(特性関数)から確率分布を一意に計算することができることが分かった。つまり、これらは一対一対応する。

 

以上で用いたフビニの定理、ルベーグの収束定理についての詳細は、下記の教科書を参照されたい。

ルベーグ積分入門―使うための理論と演習

ルベーグ積分入門―使うための理論と演習