情報系(確率変数、平均・分散→二項分布→正規分布)

サイトのTOP→理系インデックス
情報系のTOP→情報系インデックス





参考

このページの議論をまとめると、

参考

二項分布は 『 ベルヌーイ分布 』 と呼ばれることもある。

正規分布は 『 ガウス分布 』 と呼ばれることもある。

参考

確率分布の計算法は次の2通りである。

(1) 定義に基づいて直接的に計算する。

(2) モーメント母関数を利用する。

このサイトでは両方の計算法を紹介する。

定義 ( 確率変数 )

X を実変数とする。

各 X に対して確率 P(X) が定まっているとする。

このとき、X を 『 確率変数 』 という。

とくに、X が離散的であるとき、X を 『 離散的確率変数 』 という。

また、X が連続的であるとき、X を 『 連続的確率変数 』 という。

定義 ( 確率関数 )

X を離散的確率変数とする。

ある関数 f が存在して P(X)=f(X) となるとする。

このとき、f を 『 確率関数 』 という。

定義 ( 密度関数 )

X を連続的確率変数とする。

ある関数 f が存在して 次を満たすとする。



このとき、f を 『 密度関数 』 という。

注意 ( 確率分布 )

確率関数と密度関数を総称して 『 確率分布 』 という。

定義 ( 期待値 )

X を確率変数とする。

X が離散的である場合、次のように定義する。



X が連続的である場合、次のように定義する。



このとき、E[X] を 『 Xの期待値 』 という。

定義 ( 分散、標準偏差 )

X を確率変数とする。

E[X]=μとおく。

次のように定義する。

(1) V[X]=E[(X−μ)

(2) σ[X]=√V[X]

このとき、V[X] を 『 分散 』 といい、σ[X] を 『 標準偏差 』 という。

つまり、X が離散的である場合、



また、X が連続的である場合、

定義 ( 母関数 )

X を確率変数とする。

M(θ)=E[eθX] と定義する。

このとき、M(θ)を 『 モーメント母関数 』 という。

よく知られているように、次が成り立つ。(※マクローリン展開)

(*) eθX=1+(θX)/1!+(θX)/2!+(θX)/3!+・・・

よって、M(θ)=E[eθX]=1+E[X]θ/1!+E[X]θ/2!+・・・ である。

よって、M’(0)=E[X] であり、M’’(0)=E[X] である。

よって、σ=M’’(0)−M’(0) である。

P1

次が成り立つ。

(1) V[X]=E[X]−E[X]

(2) V[aX+b]=aV[X]

(3) σ[aX+b]=aσ[X]

補足

以下の証明では E[X]=μ とおく。

(1)の証明

次のように計算できる。

(*) V[X]=E[X−2μX+μ]=E[X]−2μE[X]+μ=E[X]−μ=E[X]−E[X]

(2)の証明

いま、E[aX+b]=aμ+b である。

よって、V[aX+b]=E[((aX+b)−(aμ+b))]=E[a(X−μ)]=aV[X] である。

(3)の証明

(2)より、σ[aX+b]=√V[aX+b]=aσ[X] である。

参考 ( チェビシェフの定理〜確率変数ver )

X を確率変数とする。

E[X]=μ、V[X]=s とおく。

このとき、P(|X−μ|<ks)≧1−1/k ( k≧1 ) である。

証明

X が連続的である場合について証明する。

f を X の密度関数とする。

いま、



よって、P(|X−μ|≧ks)≦1/k である。

よって、P(|X−μ|<ks)>1−1/k である。

定義 ( 同時確率変数 )

(X、・・・、X) を n 個の確率変数とする。

各(X、・・・、X)に対して確率 P(X、・・・、X) が定まっているとする。

このとき、(X、・・・、X)を 『 同時確率変数 』 という。

定義 ( 同時確率関数 )

(X、・・・、X)を離散的同時確率変数とする。

ある関数 f が存在して次を満たすとする。



このとき、f を 『 同時確率関数 』 という。

むろん、f(x、・・・、x)≧0 と 、・・・、xf(x、・・・、x)=1を要請する。

定義 ( 同時確率密度 )

(X、・・・、X)を連続的同時確率変数とする。

ある関数 f が存在して次を満たすとする。



このとき、f を 『 同時密度関数 』 という。

むろん、f(x、・・・、x)≧0 と ∫・・・∫f(x、・・・、x)dx・・・dxf(x、・・・、x)=1を要請する。

注意

同時確率関数と同時密度関数を総称して 『 同時確率分布 』 という。

ただし、誤解の恐れがない限り、以下では 『 確率分布 』 と呼ぶ。

定義 ( 周辺確率関数 )

(X、・・・、X)を離散的同時確率変数とする。

f をその同時確率関数とする。

次のように定義する。



このとき、f(x)を 『 x を中心とする周辺確率関数 』 という。

定義 ( 周辺密度関数 )

(X、・・・、X)を離散的同時確率変数とする。

f をその同時密度関数とする。

次のように定義する。



このとき、f(x)を 『 x を中心とする周辺密度関数 』 という。

よく知られているように、f の積分を∫dxf(x)によって表す流儀がある。

つまり、∫f(x)dx と ∫dxf(x) は同じ意味である。

積分記号∫が多くなると、∫dxf(x)のように表すことが多い。

定義 ( 確率分布の独立性 )

(X、・・・、X)を同時確率変数とする。

f を確率分布とする。

、・・・、f を同時確率関数とする。

f(x、・・・、x)=f(x)・・・f(x) であるとする。

このとき、「 X、・・・、X は独立である 」 という。

むろん、離散的確率変数の場合、f=f・・・f は P(X、・・・、X)=P(X)・・・P(X)を意味する。

定義 ( gの期待値〜離散ver )

(X、・・・、X)を離散的同時確率変数とする。

g(X、・・・、X)を関数とする。

次のように定義する。



このとき、E[g] を 『 g の期待値 』 という。

とくに、

定義 ( gの期待値〜連続ver )

(X、・・・、X)を連続的同時確率変数とする。

g(X、・・・、X)を関数とする。

次のように定義する。



このとき、E[g] を 『 g の期待値 』 という。

とくに、

定義 ( gの分散 )

(X、・・・、X)を同時確率変数とする。

g(X、・・・、X)を関数とする。

次のように定義する。



このとき、V[g(X、・・・、X)] を 『 g の分散 』 という。

定義 ( 共分散 )

(X、・・・、X)を同時確率変数とする。

次のように定義する。



このとき、C[X、・・・、X] を 『 X、・・・、X の共分散 』 という。

P2

(X、Y)を同時確率変数とする。

このとき、次が成り立つ。

(1) E[aX+bY+c]=aE[X]+bE[Y]+c

(2) C[X、Y]=E[XY]−E[X]E[Y]

(3) 「 X と Y は独立 」 ⇒ C(X、Y)=0

(4) V[aX+bY+c]=aV[X]+2abC[X、Y]+bV[Y]

(5) 「 X と Y は独立 」 ⇒ V[aX+bY+c]=aV[X]+bV[Y]

(1)の証明

次のように計算できる。

(2)の証明

次のように計算できる。

(3)の証明

次のように計算できる。



よって、(2)より、C[X、Y]=0 である。

(4)の証明

次のように計算できる。

(5)の証明

(3)と(4)より明らかである。

P3

(X、・・・、X)を独立な確率変数とする。

(X、・・・、X)は同一期待値μ、同一分散σをもつとする。

ここで、X=n−1(X+・・・+X)とおく。

このとき、次が成り立つ。

(1) E[X]=μ

(2) V[X]=σ/n

(1)と(2)の証明

明らかである。(※P2)

参考 ( 大数の(弱)法則 )

(X、・・・、X)を互いに独立な確率変数とする。

(X、・・・、X)は同一期待値μ、同一分散σをもつとする。

=n−1(X+・・・+X)とおく。

このとき、任意の ε>0 に対して limn→∞P(|X−μ|<ε)=1 である。

証明

k=ε/s、s=σ√n とおく。

次のように計算できる。(※参考:チェビシェフの定理、P3)

定義 ( ベルヌーイ試行 )

X を 0 または 1 のみをとる確率変数とする。

X=1 となる確率を p とする。

q=1−p とおく。

つまり、P(X=1)=p であり、P(X=0)=q である。

このとき、X を 『 ベルヌーイ試行 』 という。

定義 ( 二項分布〜その1 )

(X、・・・、X)を互いに独立なベルヌーイ試行とする。

X=X+・・・+X とおく。

このとき、X の分布を Bin(n、p) と表す。

Bin(n、p)を 『 二項分布 』 という。

定義 ( 二項分布〜その2 )

P(X=k)=n−k ( k=0、・・・、n ) と定義する。

ただし、q=1−p である。

このとき、X の分布を Bin(n、p) と表す。

Bin(n、p)を 『 二項分布 』 という。

定義(二項分布〜その1)と定義(〜その2)は同値である。

P4 ( 二項分布の期待値・分散 )

二項分布 Bin(n、p) に対して次が成り立つ。

(1) E[X]=np

(2) V[X]=npq

(3) M(θ)=(peθ+q)

(1)の証明

いま、E[X]=1・p+0・q=p である。

よって、E[X]=E[X+・・・+X]=E[X]+・・・+E[X]=np である。

(2)の証明

いま、X、・・・、X は独立である。(※定義:二項分布)

よって、V[X=(1−p)p+(0−p)q=pq である。

よって、V[X]=V[X+・・・+X]=V[X]+・・・+V[X]=npq である。

(3)の証明

M(θ)=E[eθX]=0≦k≦nθk・P(x)=0≦k≦nθkn−k=(peθ+q) である。

証明(モーメント母関数を用いた証明)

(3)より、M’(θ)=npeθ(peθ+q)n−1 である。

また、M’’(θ)=npeθ[(peθ+q)n−1+(n−1)peθ(peθ+q)n−2] である。

よって、E[X]=M’(0)=np、σ=M’’(0)−M’(0)=npq である。(※定義(母関数)の補足)

参考 ( ガウス積分 )

次が成り立つ。

証明は省略する。

定義 ( 正規分布 )

X を確率変数とする。

X の密度関数は次の形で表されるとする。



このような確率分布 N(0、1)を 『 標準正規分布 』 という。

さらに、X を σX+μ に変数変換したものを N(μ、σ) と表す。

つまり、



このような確率分布 N(μ、σ)を 『 正規分布 』 という。

正規分布の確率関数は、二項分布の確率関数の極限(n→∞)である。

このことは中心極限定理などによって分かる。

ただし、これについては別のページで議論する。

P5 ( 正規分布の期待値・分散 )

X を正規分布 N(μ、σ) に従う確率変数とする。

このとき、次が成り立つ。

(1) E[X]=μ

(2) V[X]=σ

(3) M(θ)=exp(μθ+(σ/2)θ

(1)と(2)の証明

明らかに、次は同値である。

(*1) 「 X は N(μ、σ)に従う 」 ⇒ E[X]=μ、V[X]=σ

(*2) 「 X は N(0、1)に従う 」 ⇒ E[X]=0、V[X]=1

そこで、以下では(*2)を示す。

まず、次のように計算できる。



また、次のように計算できる。(※参考:ガウス積分)



よって、V[X]=E[X]−E[X]=1 である。

(3)の証明

次のように計算できる。

証明(モーメント母関数を用いた期待値・分散の計算)

(3)より、M’(θ)=(μ+σθ)exp[μθ+(σ/2)θ] である。

また、M’’(θ)=(σ+(μ+σθ))exp[μθ+(σ/2)θ] である。

よって、E[X]=M’(0)=μ、V[X]=M’’(0)−M’(0)=σ である。(※定義(母関数)の補足)

注意 ( 正規分布表の使用法 )

統計学の本の巻末には 『 標準正規分布表 』 が掲載されている。

その一部を表すと、



ただし、



表に掲載されているのは I(z) の値である。

例えば、z=0.23 の場合、I(z)=0.0910 である。

よって、Z が N(0、1) に従うとき、P(Z≧0.23) は次のように求められる。

(*) P(Z≧0.23)=0.5−0.0910=0.4090

図示すると、

上に示したものは 『 標準正規分布 』 であって、正規分布ではないことに注意しよう。

ただし、正規分布は簡単に標準正規分布に帰着できる。

実際、Z=σ−1(X−μ)とおけば、次は同値である。

(1) X は N(μ、σ)に従う。

(2) Z は N(0、1)に従う。

つまり、P(a≦X≦b)=P(σ−1(a−μ)≦Z≦σ−1(b−μ)) である。

参考 ( ポアソン分布 )

二項分布 Bin(n、λ/n) の n→∞ による極限を Po(λ) と表す。

Po(λ)を 『 ポアソン分布 』 という。

X を P(λ) に従う確率変数とする。

このとき、次が成り立つ。

(1) P(X=k)=e−λλ/k! ( k=0、1、・・・ )

(2) E[X]=λ

(3) V[X]=λ

(4) M(θ)=e−μexp(μeθ

補足

つまり、ポアソン分布は二項分布の E[X]を一定λに保って n→∞ としたものである。

つまり、ポアソン分布の P(X=k) は確率が小さい事象が k 回実現する確率を意味する。

(1)の証明

次のように計算できる。

(2)と(3)の証明

次のように計算できる。



同様に、E[X(X−1)]=λ である。

よって、V[X]=E[X]−E[X]=E[X(X−1)]+E[X]−E[X]=λである。

(4)の証明

次のように計算できる。

証明(モーメント母関数を用いた期待値・分散の計算)

(4)より、M’(θ)=μe−μexp(μeθ+θ)である。

また、M’’(θ)=μe−μexp(μeθ+θ)(μeθ+1)である。

よって、E[X]=M’(0)=μである。(※定義(母関数)の補足)

また、V[X]=E[X]−E[X]=M’’(0)−M’(0)=μである。(※定義(母関数)の補足)