正規分布の再生性の証明
命題 1
期待値$\mu_1$、分散$\sigma_1^2$の正規分布に従う確率変数$X_1$と 期待値$\mu_2$、分散$\sigma_2^2$の正規分布に従う確率変数$X_2$がある。
これらは独立な確率変数とする。
確率変数$X = X_1 + X_2$は、 期待値$\mu_1 + \mu_2$、分散$\sigma_1^2 + \sigma_2^2$の正規分布に従う。
証明
直接的な方法
$X$の確率密度関数$f(x)$を考える。
$X_1$の確率密度関数を$f_1(x)$とし、 $X_2$の確率密度関数を$f_2(x)$とすると、
$$ f(x) = (f_1 * f_2)(x) = \int_{-\infty}^{\infty} {f_1(x - t) f_2(t) dt} $$
これは畳み込み(convolution)と呼ばれている。
今、$f_1(x)$は期待値$\mu_1$、分散$\sigma_1^2$の正規分布の確率密度関数であるから、
$$ f_1(x) = \frac {1} {\sqrt {2 \pi \sigma_1^2} } \exp \Big[ - {\frac {(x - \mu_1)^2} {2 \sigma_1^2} } \Big] $$
同様に、 $f_2(x)$は期待値$\mu_2$、分散$\sigma_2^2$の正規分布の確率密度関数であるから、
$$ f_2(x) = \frac {1} {\sqrt {2 \pi \sigma_2^2} } \exp \Big[ - {\frac {(x - \mu_2)^2} {2 \sigma_2^2} } \Big] $$
これらを用いて、畳み込みを直接計算すると、
$$ \begin{split} f(x) & = (f_1 * f_2)(x) = \int_{-\infty}^{\infty} {f_1(x - t) f_2(t) dt} \\ & = \int_{-\infty}^{\infty} { \frac {1} {\sqrt {2 \pi \sigma_1^2} } \exp \Big[ - {\frac {((x - t) - \mu_1)^2} {2 \sigma_1^2} } \Big] \frac {1} {\sqrt {2 \pi \sigma_2^2} } \exp \Big[ - {\frac {(t - \mu_2)^2} {2 \sigma_2^2} } \Big] dt } \\ & = \frac {1} {2 \pi \sigma_1 \sigma_2 } \int_{-\infty}^{\infty} { \exp \Big[ - {\frac {((x - t) - \mu_1)^2} {2 \sigma_1^2} } - {\frac {(t - \mu_2)^2} {2 \sigma_2^2} } \Big] dt } \\ \end{split} $$
右辺の被積分関数の指数部分に$-1$を掛けた式は
$$ {\frac {((x - t) - \mu_1)^2} {2 \sigma_1^2} } + {\frac {(t - \mu_2)^2} {2 \sigma_2^2} } $$ 分母を払うため、$2 \sigma_1^2 \sigma_2^2$を掛けた式を考えて、$t$について展開して平方完成すると、
$$ \begin{split} \sigma_2^2 ((x - t) - \mu_1)^2 + \sigma_1^2 {(t - \mu_2)^2} & = \sigma_2^2 \{t - (x - \mu_1)\}^2 + \sigma_1^2 {(t - \mu_2)^2} \\ & = (\sigma_1^2 + \sigma_2^2) t^2 - 2\{\sigma_2^2(x - \mu_1) + \sigma_1^2 \mu_2\} t + \{\sigma_2^2(x - \mu_1)^2 + \sigma_1^2 \mu_2^2\} \\ & = (\sigma_1^2 + \sigma_2^2) \Big \{ t - \frac{\sigma_2^2(x - \mu_1) + \sigma_1^2 \mu_2}{\sigma_1^2 + \sigma_2^2} \Big \}^2 - \frac{\{ \sigma_2^2(x - \mu_1) + \sigma_1^2 \mu_2 \}^2}{\sigma_1^2 + \sigma_2^2} + \{\sigma_2^2(x - \mu_1)^2 + \sigma_1^2 \mu_2^2\} \end{split} $$
定数項部分を考えるため、$(\sigma_1^2 + \sigma_2^2)$倍した定数項を考えると、
$$ \begin{split} & \quad (\sigma_1^2 + \sigma_2^2) \{\sigma_2^2(x - \mu_1)^2 + \sigma_1^2 \mu_2^2\} - \{ {\sigma_2^2(x - \mu_1) + \sigma_1^2 \mu_2} \}^2 \\ & = (\sigma_1^2 + \sigma_2^2) \{\sigma_2^2(x - \mu_1)^2 + \sigma_1^2 \mu_2^2\} - \{ {\sigma_2^4(x - \mu_1)^2 + \sigma_1^4 \mu_2^2 + 2 \sigma_1^2 \sigma_2^2 } (x - \mu_1) \mu_2 \} \\ & = \{ (\sigma_1^2 \sigma_2^2 + \sigma_2^4)(x - \mu_1)^2 + (\sigma_1^4 + \sigma_1^2 \sigma_2^2) \mu_2^2 \} - \{ {\sigma_2^4(x - \mu_1)^2 + \sigma_1^4 \mu_2^2 + 2 \sigma_1^2 \sigma_2^2 } (x - \mu_1) \mu_2 \} \\ & = \sigma_1^2 \sigma_2^2(x - \mu_1)^2 + \sigma_1^2 \sigma_2^2 \mu_2^2 - 2 \sigma_1^2 \sigma_2^2 (x - \mu_1) \mu_2 \\ & = \sigma_1^2 \sigma_2^2 \{ x - (\mu_1 + \mu_2)\}^2 \end{split} $$
以上から、
$$ \begin{split} & {\frac {((x - t) - \mu_1)^2} {2 \sigma_1^2} } + {\frac {(t - \mu_2)^2} {2 \sigma_2^2} } \\ & = \frac{1}{2 \sigma_1^2 \sigma_2^2} \Big [ (\sigma_1^2 + \sigma_2^2) \Big \{ t - \frac{\sigma_2^2(x - \mu_1) + \sigma_1^2 \mu_2}{\sigma_1^2 + \sigma_2^2} \Big \}^2 + \frac {\sigma_1^2 \sigma_2^2 \{ x - (\mu_1 + \mu_2)\}^2} {\sigma_1^2 + \sigma_2^2} \Big ] \\ & = \frac{\sigma_1^2 + \sigma_2^2}{2 \sigma_1^2 \sigma_2^2} \Big \{ t - \frac{\sigma_2^2(x - \mu_1) + \sigma_1^2 \mu_2}{\sigma_1^2 + \sigma_2^2} \Big \}^2 + \frac { \{ x - (\mu_1 + \mu_2)\}^2} {2(\sigma_1^2 + \sigma_2^2)} \end{split} $$
よって畳み込みの計算は、
$$ \begin{split} & \quad \frac {1} {2 \pi \sigma_1 \sigma_2 } \int_{-\infty}^{\infty} { \exp \Big[ - {\frac {((x - t) - \mu_1)^2} {2 \sigma_1^2} } - {\frac {(t - \mu_2)^2} {2 \sigma_2^2} } \Big] dt } \\ &= \frac {1} {2 \pi \sigma_1 \sigma_2 } \int_{-\infty}^{\infty} { \exp \Big[ - \frac{\sigma_1^2 + \sigma_2^2}{2 \sigma_1^2 \sigma_2^2} \Big \{ t - \frac{\sigma_2^2(x - \mu_1) + \sigma_1^2 \mu_2}{\sigma_1^2 + \sigma_2^2} \Big \}^2 \Big] \exp \Big[ \frac { \{ x - (\mu_1 + \mu_2)\}^2} {2(\sigma_1^2 + \sigma_2^2)} \Big] dt } \\ &= \frac {1} {2 \pi \sigma_1 \sigma_2 } \int_{-\infty}^{\infty} { \exp \Big[ - \frac{\sigma_1^2 + \sigma_2^2}{2 \sigma_1^2 \sigma_2^2} t^2 \Big] \exp \Big[ \frac { \{ x - (\mu_1 + \mu_2)\}^2} {2(\sigma_1^2 + \sigma_2^2)} \Big] dt } \\ &= \frac {1} {2 \pi \sigma_1 \sigma_2 } \exp \Big[ \frac { \{ x - (\mu_1 + \mu_2)\}^2} {2(\sigma_1^2 + \sigma_2^2)} \Big] \int_{-\infty}^{\infty} { \exp \Big[ - \frac{\sigma_1^2 + \sigma_2^2}{2 \sigma_1^2 \sigma_2^2} t^2 \Big] dt } \\ &= \frac {1} {2 \pi \sigma_1 \sigma_2 } \sqrt {\frac {2 \pi \sigma_1^2 \sigma_2^2} {\sigma_1^2 + \sigma_2^2}} \exp \Big[ \frac { \{ x - (\mu_1 + \mu_2)\}^2} {2(\sigma_1^2 + \sigma_2^2)} \Big] \\ &= \frac {1} {\sqrt {2 \pi (\sigma_1^2 + \sigma_2^2) }} \exp \Big[ \frac { \{ x - (\mu_1 + \mu_2)\}^2} {2(\sigma_1^2 + \sigma_2^2)} \Big] \end{split} $$
となり、$f(x) = (f_1 * f_2)(x)$が、期待値$\mu_1 + \mu_2$、分散$\sigma_1^2 + \sigma_2^2$の正規分布の確率密度関数となることが示された。
特性関数を用いる方法
確率密度関数のフーリエ変換である特性関数を用いると、これはほぼ明らかとなる。
$X$の特性関数$E[e^{itX}]$を考える。
$X_1$の特性関数は、
$$ E[e^{itX_1}] = \exp \Big[ i \mu_1 t - \frac{\sigma_1^2}{2} t^2 \Big] $$ $X_2$の特性関数は、
$$ E[e^{itX_2}] = \exp \Big[ i \mu_2 t - \frac{\sigma_2^2}{2} t^2 \Big] $$ なので、
$$ \begin{split} E[e^{itX}] & = E[e^{it(X_1 + X_2)}] \\ & = E[e^{itX_1}] E[e^{itX_2}] \\ & = \exp \Big[ i \mu_1 t - \frac{\sigma_1^2}{2} t^2 \Big] \exp \Big[ i \mu_2 t - \frac{\sigma_2^2}{2} t^2 \Big] \\ & = \exp \Big[ i (\mu_1 + \mu_2) t - \frac{(\sigma_1^2 + \sigma_2^2)}{2} t^2 \Big] \end{split} $$
これで、$E[e^{itX}]$が、期待値$\mu_1 + \mu_2$、分散$\sigma_1^2 + \sigma_2^2$の正規分布の特性関数であることが示された。
命題 2
期待値$\mu$、分散$\sigma$の正規分布に従う確率変数$X$と実数$c$がある。
確率変数$Y = cX$は、 期待値$c \mu$、分散$c^2 \sigma^2$の正規分布に従う。
証明
直接的な方法
$X$の確率密度関数を$f(x)$として、$Y$の確率を考える
$$ \begin{split} P(a \le Y \le b) & = P(a \le cX \le b) \\ & = P \Big( \frac{a}{c} \le X \le \frac{b}{c} \Big) \\ & = \int_{\frac{a}{c}}^{\frac{b}{c}} f(x) dx \\ & = \frac {1} {\sqrt {2 \pi \sigma^2} } \int_{\frac{a}{c}}^{\frac{b}{c}} \exp \Big[ - {\frac {(x - \mu)^2} {2 \sigma^2} } \Big] dx \\ & = \frac {1} {\sqrt {2 \pi \sigma^2} } \int_{a}^{b} \exp \Big[ - {\frac {(\frac{y}{c} - \mu)^2} {2 \sigma^2} } \Big] \frac{dy}{c} \\ & = \frac {1} {\sqrt {2 \pi c^2\sigma^2} } \int_{a}^{b} \exp \Big[ - {\frac {(y - c \mu)^2} {2 c^2 \sigma^2} } \Big] dy \\ \end{split} $$
よって、$Y$の確率密度関数$g(y)$は、
$$ g(y) = \frac {1} {\sqrt {2 \pi c^2\sigma^2} } \exp \Big[ - {\frac {(y - c \mu)^2} {2 c^2 \sigma^2} } \Big] $$
これは、期待値$c \mu$、分散$c^2 \sigma^2$の正規分布の確率密度関数である。
特性関数を用いる方法
確率密度関数のフーリエ変換である特性関数を用いると、これはほぼ明らかとなる。
$Y$の特性関数$E[e^{itY}]$を考える。
$X$の特性関数は、
$$ E[e^{itX}] = \exp \Big[ i \mu t - \frac{\sigma^2}{2} t^2 \Big] $$ なので、
$$ \begin{split} E[e^{itY}] & = E[e^{it(cX)}] \\ & = E[e^{i(ct)X}] \\ & = \exp \Big[ i \mu c t - \frac{\sigma^2}{2} (ct)^2 \Big] \\ & = \exp \Big[ i (c \mu) t - \frac{c^2 \sigma^2}{2} t^2 \Big] \end{split} $$
これで、$E[e^{itY}]$が、期待値$c \mu$、分散$c^2 \sigma^2$の正規分布の特性関数であることが示された。
正規分布の再生性
命題1と命題2をあわせて、正規分布の再生性(reproductive property)という。