ChunPom’s diary

数学、物理、機械学習に関する話題。あと院試、資格、大学入試まで。

ガンマ分布の様々な期待値

{\displaystyle \lambda,k}を母数とするのガンマ分布は{\displaystyle \frac{{\lambda}^k}{\Gamma(k)}x^{k-1}e^{-\lambda x}}と表される。この分布の様々な期待値を計算してみよう。

 

まずは平均{\displaystyle E(x)}である。

 {\displaystyle E(x)=\int^{\infty}_{0}dx \frac{{\lambda}^k}{\Gamma(k)}x^{k}e^{-\lambda x}=\frac{k}{\lambda} \int^{\infty}_{0}\frac{{\lambda}^{k+1}}{\Gamma(k+1)}x^{k}e^{-\lambda x}=\frac{k}{\lambda} }

ここで、{\displaystyle \Gamma(k+1)=k!=k\Gamma(k)}であること、ガンマ分布の積分が1になることを用いた。

 

次に、分散{\displaystyle V(x)=E(x^2)-(E(x))^2}を求める。

 {\displaystyle E(x^2)=\int^{\infty}_{0}dx \frac{{\lambda}^k}{\Gamma(k)}x^{k+1}e^{-\lambda x}=\frac{k(k+1)}{{\lambda}^2} \int^{\infty}_{0}\frac{{\lambda}^{k+2}}{\Gamma(k+2)}x^{k+1}e^{-\lambda x}=\frac{k(k+1)}{{\lambda}^2} }

これと平均の結果により、分散の表式を得る。

 {\displaystyle V(x)=\frac{k}{{\lambda}^2} }

 

次に、指数関数の期待値を求めよう。

 {\displaystyle E(e^{tx})=\int^{\infty}_{0}dx \frac{{\lambda}^k}{\Gamma(k)}x^{k-1}e^{-(\lambda-t) x}=\frac{{\lambda}^k}{(\lambda-t)^k} \int^{\infty}_{0}\frac{(\lambda-t)^{k}}{\Gamma(k)}x^{k-1}e^{-(\lambda-t) x}=\left(\frac{\lambda}{\lambda-t}\right)^k }

 これは、いわゆるモーメント母関数のことである。

 

最後に、対数関数の期待値を求めよう。

 {\displaystyle E(ln(x))=\int^{\infty}_{0}dx \frac{{\lambda}^k}{\Gamma(k)}x^{k-1}e^{-\lambda x} ln(x)=\int^{\infty}_{0}dx \frac{{\lambda}^k}{\Gamma(k)}e^{-\lambda x} \frac{d}{dk} x^{k-1}}

と変形できる。ここで、{\displaystyle \frac{(x^{k-1})'}{x^{k-1}}=\frac{d}{dk} ln(x^{k-1})= \frac{d}{dk} (k-1)ln(x)=ln(x)}であることを用いた(「'」は{\displaystyle k}に関する微分)。

{\displaystyle E(ln(x))=\frac{d}{ds}\int^{\infty}_{0}dx \frac{{\lambda}^k}{\Gamma(k)}x^{k-1}e^{-\lambda x}  -\int^{\infty}_{0}dx \frac{d}{dk} \left(\frac{{\lambda}^k}{\Gamma(k)}\right)e^{-\lambda x} x^{k-1} }

一項目は、被微分部分が定数1になるため0となる。二項目の微分を実行すると、

{\displaystyle E(ln(x))= -\int^{\infty}_{0}dx \frac{ln(\lambda) {\lambda}^k}{\Gamma(k)} x^{k-1} e^{-\lambda x} +\int^{\infty}_{0} dx  \frac{{\Gamma(k)}'}{{\Gamma(k)}^2} x^{k-1} e^{-\lambda x} =-ln(\lambda)+ \frac{{\Gamma(k)}'}{{\Gamma(k)}^2}}

となる。ディガンマ関数{\displaystyle \psi(x)=\frac{d}{dx} \Gamma(x) }を用いると、

{\displaystyle E(ln(x))=-ln(\lambda)+\psi(k)}

を得る。これを用いるとガンマ分布のエントロピー等が計算できる。また、https://yoshidabenjiro.hatenablog.com/entry/2016/12/30/023546にもあるようにポアソン分布の変分ベイズ法での計算にも登場する。そろそろ統計検定に出題されるかも..