情報系(中心極限定理の証明)

サイトのTOP→理系インデックス
情報系のTOP→情報系インデックス





定義 ( 母関数 )

X を確率変数とする。

M(θ)=E[eθX] と定義する。

このとき、M(θ)を 『 モーメント母関数 』 という。

よく知られているように、次が成り立つ。(※マクローリン展開)

(*) eθX=1+(θX)/1!+(θX)/2!+(θX)/3!+・・・

よって、M(θ)=E[eθX]=1+E[X]θ/1!+E[X]θ/2!+・・・ である。

よって、M’(0)=E[X] であり、M’’(0)=E[X] である。

よって、σ=M’’(0)−M’(0) である。

P1 ( 正規分布の母関数 )

正規分布の母関数は次のように表される。

証明

次のように計算できる。

参考 ( 中心極限定理〜その1 )

、・・・、X を互いに独立な確率変数とする。

、・・・、X は同一の正規分布 N(μ、σ) に従うとする。

次のように定める。



このとき、X は N(μ、σ/n) に従う。

証明

f を X の確率密度とする。

M(θ)をそのモーメント母関数とする。

いま、X は正規分布 N(μ、σ) に従う。

よって、次のように表せる。(※P1)





ここで、f を X の確率密度とする。

(θ)を X のモーメント母関数とする。

いま、f(x、・・・、x)=f(x)・・・f(x)である。(※独立性)

よって、

P2(期待値と分散の基本性質)

(X、Y)を同時確率変数とする。

このとき、次が成り立つ。

(1) E[aX+bY+c]=aE[X]+bE[Y]+c

(2) C[X、Y]=E[XY]−E[X]E[Y]

(3) 「 X と Y は独立 」 ⇒ C(X、Y)=0

(4) V[aX+bY+c]=aV[X]+2abC[X、Y]+bV[Y]

(5) 「 X と Y は独立 」 ⇒ V[aX+bY+c]=aV[X]+bV[Y]

証明

省略する。

P3 ( 中心極限定理〜その2 )

、・・・、X を互いに独立な確率変数とする。

、・・・、X は、平均μ、分散σの(ある)確率分布に従うとする。

次のように定める。



このとき、Z は n→∞ で N(0、1) に従う。

つまり、X は N(μ、σ/n) に従う。

補足

P3(中心極限定理〜その2)の仮定は、参考(中心極限定理〜その1)よりも弱い。

つまり、P3(中心極限定理〜その2)は参考(中心極限定理〜その1)の一般化である。

証明

いま、E[X]=・・・=E[X]=μ である。

また、V[X]=・・・=V[X]=σ である。

よって、次が成り立つ。(※P2)

(*1) E[X]=n−1(E[X]+・・・+E[X])=n−1nμ=μ

(*2) V[X]=n−2(V[X]+・・・+V[X])=n−2nσ=σ/n

f を X の確率密度とする。

M(θ)を X のモーメント母関数とする。

いま、



を X の確率密度とする。

(θ)を X のモーメント母関数とする。

いま、f (x、・・・、x)=f(x)・・・f(x)である。(※独立性)

よって、



ここで、f を Z の確率密度とする。

(θ)を Z のモーメント母関数とする。

いま、



よって、



よって、



よって、



ここで、



よって、



よく知られているように、次が成り立つ。(※マクローリン展開)



よって、



( 上の計算では E[X]=μ、σ=E[X]−E[X]=E[X]−μ に注意 )

つまり、M(θ)=exp(θ/2)である。

これは N(0、1) のモーメント母関数である。

つまり、Z は N(0、1) に従う。