ChunPom’s diary

数学、物理、機械学習に関する話題。あと院試、資格、大学入試まで。

意外に難しい条件付き”分散”

数学 統計 確率解析

条件付き確率は式がシンプルで扱いやすい一方、条件付き分散になると途端に難しくなる。今回は、条件付き分散になれるという目的で、以下の2つの項目について自分なりに説明してみる。

① 条件付き分散の表式を求める

② 全分散の公式を証明する

 

① 条件付き分散の導出

まず、条件付き確率は確率変数 {\displaystyle X,Y} に対して

 

{\displaystyle E(X|Y=y_l)}=\sum_{k}x_k \ f_{X|Y}(x_k|y_l)

 

と書ける(以下離散変数を考える)。これを {\displaystyle Y} に対して期待値を取れば、確率の結合から

  

{\displaystyle E(E(X|Y))=\sum_{k,l}x_k\ f_{X|Y}(x_k|y_l)\ f_{Y}(y_l)=\sum_{k}x_k\ f_{X}(x_k)=E(X)}

 

を得る。では次に、条件付き分散について考えよう。普通の分散は {\displaystyle V(X)=E(\{X-E(X)\}^2)} と書けることから、条件付き分散 {\displaystyle V(X|Y)} は以下のように書ける。

 

{\displaystyle V(X|Y)=E(\{X-E(X|Y)\}^2|Y)=E(X^2)-2E(XE(X|Y)|Y)+E(E(X|Y)^2|Y)}

 

2項目は、

\begin{eqnarray*} E(XE(X|Y=y_l)|Y=y_l)&=&\sum_{k,k'}x_k\ f_{X|Y}(x_{k}|y_l)\ x_{k'}\ f_{X|Y}(x_{k'}|y_l) \\
&=& (\sum_{k} x_k\ f_{X|Y}(x_{k}|y_l))\ (\sum_{k'} x_{k'}\ f_{X|Y}(x_{k'}|y_l))\\
&=&E(X|Y=y_l)^2 \end{eqnarray*}

と整理できる。ここで、1式目において、先頭の {\displaystyle X} は一番後ろの {\displaystyle Y=y_l} によって条件付けられていることに注意されたい。  

3項目は2回 {\displaystyle X} の期待値を取るという”余分な”操作をしているため、

\begin{eqnarray*}E(E(X|Y=y_l)^2|Y=y_l))&=& E(X|Y=y_l)^2 \end{eqnarray*}

 となり、2項目と等しくなる。よって、

 

{\displaystyle V(X|Y)=E(X^2|Y)-E(X|Y)^2}

 

と表すことができる。

 

 ② 全分散の公式を証明する

では、次に条件付き分散が満たす以下の全分散の公式を証明する。

 

{\displaystyle V(X)=E(V(X|Y))+V(E(X|Y))}

 

2項目は、条件付き分散の結果から、

\begin{eqnarray*}E(V(X|Y))&=&E(E(X^2|Y)-E(X|Y)^2)\\
&=& E(X^2)-E(E(X|Y)^2)) \end{eqnarray*}

を得る(途中で①の2式目を用いた)。

3項目は、条件付き分散の結果から、

\begin{eqnarray*}V(E(X|Y))&=&E(E(X|Y)^2)-\{E(E(X|Y))\}^2\\
&=&E(E(X|Y)^2)-\{E(X)\}^2\end{eqnarray*}

を得る(途中で①の2式目を用いた)。

よって、これらの和を取れば、上手いことに {\displaystyle E(E(X|Y)^2)) } がキャンセルし、全分散の公式を得る。