時間矢パラドクス→統計力学エントロピー→情報エントロピー→「等重率原理+ボルツマン原理」

サイトのTOP→理系インデックス





参考 ( 概要 )

このページでは次の順番で議論する。

(0) 熱力学エントロピー

(1) 統計力学エントロピー

(2) シャノン情報エントロピー

(3) 等重率原理、ボルツマンの原理

参考 ( マクロ時間発展の不可逆性 )

次はいずれも概ね同じ意味である。(※熱力学)

(1) 熱力学第2法則

(2) エントロピー増加法則

(3) 孤立系ではエントロピーは単調に増加し、最終的に平衡状態に達する。

(4) 孤立系においてマクロな時間発展は不可逆である。

(5) 熱は高温から低温に流入し、決して自発的に逆流しない。

以下、他のエントロピーと区別するために、上記のエントロピーを 『 熱力学エントロピー 』 という。

参考 ( ミクロ時間発展の可逆性 )

古典力学は時間反転に対して不変である。

補足

以下の議論では 『 正準方程式 』 を用いる。

正準方程式は解析力学に登場する概念である。

正準方程式を知らない人は分かる範囲で読めばよい。

証明

=∂H/∂p、p=−∂H/∂q を正準方程式とする。(★1)

次のような変換を考える。

(*1) t → −t

(*2) q → q

(*3) p → −p

つまり、変換(*1)〜(*3)は位置を不変として運動を時間反転させる。

明らかに、この変換に対して H は不変である。(※ハミルトニアンの中で運動量は2乗である)

よって、この変換に対して正準方程式は −q=−∂H/∂p、p=−∂H/∂q である。(★2)

つまり、変換前(★1)と変換後(★2)は同じである。

参考 ( 時間矢パラドクス )

既に確認したように、孤立系においてエントロピーは単調に増加する。

つまり、孤立系においてマクロ時間発展は不可逆である。(★1)

いま、この系を構成している原子・分子の運動は力学法則に従う。

また、力学法則は時間に対して可逆である。

実際、ある時刻にすべての粒子の位置を変化させずに運動量の符合を反転させてみよう。

すると、系はこれまでの軌跡を逆に進み、過去の状態に戻る。

むろん、これは参考(ミクロ時間発展の可逆性)で示したことを意味する。

つまり、このような運動は力学法則に反しない。

この視点に立つと、孤立系においてマクロ時間発展は可逆であるように思える。(★2)

この(★1)と(★2)の矛盾を 『 時間矢パラドクス 』 という。

時間矢パラドクスは次のようにして解決できる。

まず、1つの容器を考え、容器の中央には仕切り板が設置されているとする。

つまり、容器の内部は2つの部屋に分かれている。

部屋の一方に気体を満たし、もう一方は真空であるとする。

ここで、中央の仕切り板を除去する。

すると、気体はもう一方の部屋へ拡張していく。

ある時刻において粒子の位置を変えずに運動量のみを反転させたと仮定しよう。

すると、系は元の状態に戻るはずである。

そして、このような過程は力学法則に反しない。

しかし、実際に部屋の気体が一方の部屋に集まるという現象は日常的な経験則からあり得ない。

このことを数学的に確認しよう。

まず、粒子は独立に確率 1/2 で容器の部屋どちらか一方に見出されるとする。

左側の部屋に k 個、右側の部屋に N−k 個の粒子を見出す確率を P(k) と表す。

いま、



とくに、全粒子が左側の部屋に見出される確率は、



また、左右の部屋に同数の粒子が見出される確率は、



一方、N>>1 ならば N!≒N−N である。(※スターリングの公式)

よって、



つまり、Nが十分大であるとすると、P(N)=(1/2)<<1、P(N/2)≒1 である。

このように、一方の部屋にのみ粒子が見出される確率 P(N) は無視できるほど小さい。

よって、P(N)は力学法則には反していないが、実際には観測されない。

補足

また、上記の議論は次のことを示唆する。

(*) 平衡状態とは実現確率が最大になる状態である。

これは後で統計力学エントロピーを要請する動機付けになる。

定義 ( 相空間 )

系の状態は粒子の位置 x と運動量 p で指定できる。

つまり、各状態は xp 平面上の点として表される。

粒子数が 1 個である場合は、(x、x、x、p、p、p) で表示できる。

粒子数が N 個である場合は、(x、・・・、x3N、p、・・・、p3N) で表示できる。

このような空間を 『 相空間 』 という。

また、相空間の点を 『 代表点 』 という。

つまり、時間が経過すると、代表点は相空間を移動する。

つまり、粒子数が N 個である場合、系の状態は 6N 次元相空間によって記述される。

相空間を 『 位相空間 』 と呼ぶ本もある。

ただし、これは数学で知られている位相空間とは別物である。

それと区別するために 『 相空間 』 と呼ぶ。

定義 ( 微視状態 )

エネルギー E、体積 V、粒子数 N をマクロで指定する。

このとき、系がとることのできる微視状態の個数を W(E、V、N) と表す。

定義 ( 相加的 )

O を物理量とする。

系1の物理量 O を O と表す。

系2の物理量 O を O と表す。

この2つの系を接合させると、系全体の物理量 O は O+O となるとする。

このとき、「 物理量 O は相加的である 」 という。

ここで 「 接合 」 は 「 2つの系を接触させて間の壁を除去する 」 を意味する。

要請 ( 統計力学エントロピー )

ある関数 S が存在して次を満たす。

(1) S は微視状態数 W を変数とする関数である。

(2) S は相加性をもつ。

(3) マクロの平衡状態は S(Wmax) に対応する。

この S を 『 統計力学エントロピー 』 という。

微視状態数 W は 「 状態の総和 」 を意味する。

つまり、マクロ系に対してミクロ的視点で状態の総数を考えるということである。

むろん、これは新しい概念ではなくて、高校数学の 『 組合せ 』 や 『 場合の数 』 と同じである。

P1 ( 統計力学エントロピーの表示 )

統計力学エントロピーは S=klnW と表せる。

ただし、k=S’(1) である。

補足

を 『 ボルツマン定数 』 という。

後々で示されるように、k=R/N である。

証明

系 A と B を接合させる。

接合後の系を A+B と表す。

いま、WA+B=W である。(※高校数学)

また、S(WA+B)=S(W)+S(W)である。(※要請:統計力学エントロピー)

よって、S(W)=S(W)+S(W)である。

ここで、W を x と表し、W を y と表す。

いま、S(xy)=S(x)+S(y) である。

また、x=y=1 とおくと、S(1)=2S(1)である。

よって、S(1)=0 である。(★)

一方、y で偏微分すると、xS’(xy)=S’(y) である。

ここで、y=1とおくと、xS’(x)=S’(1)である。

よって、S’(x)=S’(1)/x である。

よって、S(x)=S’(1)lnx+C である。

よって、(★)より、C=0 である。

よって、S(W)=klnW ( k=S’(1) ) である。

P2 ( シャノン情報エントロピー )

S(W)を統計力学エントロピーとする。

相空間の i 番目の微視状態の実現確率を P とする。

このとき、S=−klnP である。

補足

この S は情報理論で 『 情報エントロピー 』 と呼ばれる。

証明

相空間に G 個の代表点を確率分布{P}に従って配置する。

i 番目の微視状態に配置される代表点の個数を G とする。

いま、P=G/G であり、=G である。

また、相空間に G 個の代表点を配置する方法の総数は W=G!(G!G!・・・)−1 である。

また、1個の代表点に対して S=G−1lnW である。(※P1)

一方、N>>1 ならば lnN!≒NlnN−N である。(※スターリングの公式)

以上により、

補足

上の証明で述べたように、Sは1個の代表点に対するエントロピーを意味する。

このとき、もしかしたら、

「 1個だけでよいのだろうか? 」

・・・と疑問に思う人がいるかもしれない。

おそらく、この人は 「 1個の代表点 」 と 「 1個の質点 」 を混同しているのであろう。

相空間上の1個の代表点は全系の状態を表していることに注意しよう。

定義 ( ミクロカノニカル )

N、V、E を一定とする系を 『 ミクロカノニカル集団(小正準集団)』 という。

つまり、ミクロカノニカルは 『 孤立系 』 に相当する。

つまり、ミクロカノニカルの束縛条件は、

(*1) =1

(*2) 確率分布{P}は等エネルギー面 H=E 上に限定される。

定義 ( カノニカル )

N、V、T を 一定とする系を 『 カノニカル集団(正準集団)』 という。

つまり、カノニカルは 『 熱浴に接する系 』 に相当する。

つまり、カノニカルの束縛条件は、

(*1) =1

(*2) =〈E〉

定義 ( グランドカノニカル )

μ、V、T を一定とする系を 『 グランドカノニカル集団(大正準集団)』 という。

つまり、グランドカノニカルは 『 粒子浴・熱浴に接する系 』 に相当する。

つまり、グランドカノニカルの束縛条件は、

(*1) =1

(*2) =〈E〉

(*2) =〈N〉

参考 ( ラグランジュの方法 )

f(x、y)の極値を求めたいとする。

g(x、y)=0 を束縛条件とする。

G(x、y、λ)=f(x、y)+λg(x、y) とおく。

λを定数と見なして ∂G/∂x=0、∂G/∂y=0 を考える。(★0)

条件(★0)は極値で f と g が満たす条件である。

補足

平衡状態の確率分布は S=−klnP を最大にする。(※P2、要請:統計力学エントロピー)

ただし、系に束縛条件がある場合、最大化問題において変数は互いに独立ではない。

よって、通常の方法で最大値を求めることはできない。

つまり、連立方程式 ∂f(x、y)/∂x=0、∂f(x、y)/∂y=0 を解く方法は役立たない。

そこで、ラグランジュの方法が必要となる。

証明

∂G/∂x=0、∂G/∂y=0 からλを消去する。

すると、(∂f/∂x)∂g/∂y−(∂f/∂y)∂g/∂x=0 である。(★1)

−−−−−−−−−−−−−−−−−−−−

いま、g(x、y)=0 は x と y の関数関係を与える。

つまり、x=x(λ)、y=y(λ)と表せる。

よって、束縛条件下で f(x、y)=f(x(λ)、y(λ)) である。

つまり、f をλの1変数関数と見なせる。

よって、束縛条件下の極値点で df(x(λ)、y(λ))/dλ=0 となる。

つまり、(∂f/∂x)dx/dλ+(∂f/∂y)dy/dλ=0 である。

つまり、



一方、束縛条件より、g(x(λ)、y(λ))=0 である。

両辺をλで微分すると、dg(x(λ)、y(λ))/dλ=(∂g/∂x)dx/dλ+(∂g/∂y)dy/dλ=0 である。

つまり、



(*1)、(*2)より、(∂f/∂x)∂g/∂y−(∂f/∂y)∂g/∂x=0 である。(★2)

つまり、条件(★1)と(★2)は一致する。

つまり、条件(★0)と(★2)は一致する。

上の議論より、(★2)は極値で f と g が満たすべき条件である。

つまり、(★0)は極値で f と g が満たすべき条件である。

P3 ( エントロピー最大化 )

S({P})を情報エントロピーとする。

({P})=0、・・・、g({P})=0 を束縛条件とする。

{P}が平衡条件における相空間の代表点が従う確率分布であるとすると、



つまり、任意の i に対して

証明

明らかである。(※P2、参考:ラグランジュの方法)

P4 ( 等重率原理、ボルツマンの原理 )

S({P})を情報エントロピーとする。

ミクロカノニカルにおいて次が成り立つ。

(1) P=1/W

(2) S=klnW

ただし、W は等エネルギー面上にある微視状態数であるとする。(※定義:ミクロカノニカル)

補足

(1)を 『 等重率原理 』 という。

(2)を 『 ボルツマンの原理 』 という。

(1)の証明

ミクロカノニカルの束縛条件は −1=0 である。(※定義:ミクロカノニカル)

よって、確率分布 P に対して次が成り立つ。(※P2、P3)



これを解くと、P=exp(λ/k−1)である。

上式右辺は i に依存していない。

つまり、等エネルギー面上の微視状態はすべて同じ確率で実現する。

つまり、P=1/W である。

(2)の証明

(1)より、S=−klnP=−k−1ln(1/W)=−kln(1/W)=klnW である。

参考 ( スターリングの公式 )

自然数 n が n>>1 であるとする。

このとき、次の近似が成り立つ。

(1) ln(n!)≒nln(n)−n

(2) n!≒n−n

証明

既知とする。

参考 ( n次元球の体積 )

次が成り立つ。

(1)の証明

既知とする。

(2)の証明

(1)より明らかである。

参考 ( ガンマ関数の性質 )

(1) Γ(α+1)=αΓ(α)

(2) Γ(n+1)=n!である。

証明

既知とする。

参考 ( 同種の量子的粒子は区別できない )

量子力学では同種の粒子は区別できない。

また、以下の議論では古典的理想気体に対してもこのことを適用する。

量子力学において、粒子は波動関数によって記述される。

位置 r と r にある2つの粒子の運動は、1つの波動関数ψ(r、r、t)によって記述される。

いま、2つの波束1と2が衝突して散乱するとする。

むろん、衝突した瞬間に2つの波束は重なり合っている。

そして、衝突後は再び2つの波束に分かれる。

しかし、衝突時に波束1と2の区別がなくなる。

よって、衝突後の波束は1と2の区別ができない。

規約 ( 相空間の単位体積 )

自由度 N の相空間の単位体積は h である。

H を1次元調和振動子のハミルトニアンとする。

よく知られているように、これは次のように表される。(※力学)



また、質点を量子的粒子とすると、そのエネルギーは ε は次のように表される。(※量子力学)



この運動を相空間(p、q)に図示すると楕円になる。(※H=ap+bqは楕円方程式)



n の値を1だけズラすと、間に挟まれる領域の面積は h である。(※簡単な計算)

よって、自由度 N の相空間の単位体積は h である。

定義 ( 熱力学量 )

S(E、V、N)を系のエントロピーとする。

次のように定義する。



このとき、T を 『 温度 』 という。

また、P を 『 圧力 』 という。

これらの量が一般によく知られている量と一致することの正当性は熱力学で示される。

ただし、以下の議論ではこれらの量を単なる定義として見なすだけで十分である。

つまり、これらの省略によって以下の理解に被害が出ることはない。

P5 ( ボルツマン定数 )

=R/N である。

証明

体積 V で断熱壁から成る容器を考える。

N 個の粒子から成る気体が容器に閉じ込められているとする。

つまり、これはミクロカノニカル集団である。

いま、ハミルトニアンは H=1≦i≦3N(p/2m)である。

W を相空間における等エネルギー面 H(Γ)=E 上の微視状態数とする。

つまり、W は 6N−1 次元の曲面である。

むろん、等エネルギー面の体積は 0 である。

ただし、これでは H(Γ)=E を満たす代表点が存在しないことになってしまう。

そこで、等エネルギー面は微小な厚みをもつと考え、その領域の体積を考える。

つまり、H(Γ)=E と H(Γ)=E+ΔE で囲まれた領域を考える。



煤iE) を H(Γ)=E の面が囲む領域内に存在する微視状態数とする。

ΔE は十分小であるとすると、W=煤iE+ΔE)−煤iE)≒(d/dE)ΔE=D(E)ΔE である。

ただし、D(E)=d/dE である。

この D を 『 状態密度 』 という。

いま、相空間の単位体積は h3N である。(※規約:相空間の単位体積)

また、同種粒子による微視状態数の重複を 1/N! で打ち消す。(※参考:同種粒子は区別できない)

よって、次のように計算できる。(※参考:n次元球の体積、ガンマ関数の性質、スターリングの公式)



よって、



いま、



よって、次のように計算できる。(※P4:ボルツマンの原理)



よって、P/T=(∂S/∂V)E、N=Nk/V である。(※定義:熱力学量)

一方、PV=(N/N)RT である。(※理想気体の状態方程式)

よって、k=R/N である。

P6 ( カノニカル分布 )

カノニカル集団に対して次が成り立つ。



ただし、

補足

exp(−βE)を 『 ボルツマン因子 』 という。

これはカノニカル集団において高エネルギー状態の出現確率が指数関数的に小さくなることを意味する。

補足

つまり、Zは確率分布 P の規格化因子である。

Z を 『 分配関数 』 という。

補足

Z=exp(−βE)において は相空間全体に関する和である。

ここで、等エネルギー面 H=E 上に関する和を H=E と表す。

また、異なるエネルギー全体に関する和を と表す。

すると、H=E である。

つまり、



つまり、分配関数はミクロカノニカル集団の状態数 W にボルツマン因子を重み付けした平均である。

(1)の証明

いま、束縛条件は次の通りである。(※定義:カノニカル)

(*1) =1

(*2) =〈E〉

よって、次が成り立つ。(※P3:エントロピー最大化)



よって、−k(lnP+1)+α+β=0 である。

よって、lnP=−1+α/k+(β/k)E である。

ここで、α=−1+α/k、β=−β/k とおく。

すると、P=exp(α−βE)である。

よって、(*1)より、1==eαexp(−βE)である。

ここで、Z=exp(−βE)=e−α とおく。

すると、P=Z−1exp(−βE)である。

(2)の証明

(1)より、次のように計算できる。(※P2:情報エントロピー)



つまり、S=kβ〈E〉+klnZ である。(★1)

カノニカル集団で固定された変数は N、V、T である。

これらを自然な変数としてもつ熱力学ポテンシャルはヘルムホルツ自由エネルギー F=E−TS である。

つまり、S=E/T−F/T である。(★2)

(★1)、(★2)より、β=1/kT、F=−kTlnZ である。

P7 ( グランドカノニカル分布 )

グランドカノニカル集団に対して次が成り立つ。



ただし、

補足

Ξ を 『 大分配関数 』 という。

補足

次のように表すこともできる。



ただし、r=r(N)である。

つまり、E(N)は N と r(N) で指定される値である。

ちなみに、(*)を変形すると、



つまり、大分配関数は分配関数に exp(βμN) を重み付けした平均である。

(1)の証明

いま、束縛条件は次の通りである。(※定義:グランドカノニカル)

(*1) =1

(*2) =〈E〉

(*2) =〈N〉

よって、次が成り立つ。(※P3:エントロピー最大化)



よって、−k(lnP+1)+α+β+γ=0 である。

ここで、α=α/k−1、β=−β/k、βγ=γ/k とおく。

すると、P=exp(α−βE+βγN)である。

よって、(*1)より、1==eαexp[−β(E−γN)] である。

ここで、Ξ=exp[−β(E−γN)]=e−α とおく。

すると、P=Ξ−1exp[−β(E−γN)] である。

(2)の証明

(1)、(*1)〜(*3)より、次のように計算できる。(※P2:情報エントロピー)



つまり、S=kβ〈E〉−kβγ〈N〉+klnΞ である。(★1)

グランドカノニカル集団で固定された変数は V、T、μ である。

これを自然な変数としてもつ熱力学ポテンシャルはグランドポテンシャル Ω=E−TS−μN である。

つまり、S=E/T−(μ/T)N−Ω/T である。(★2)

(★1)、(★2)より、β=1/kT、γ=μ、Ω=−kTlnΞ である。