情報エントロピーと熱力学エントロピー

粗視化、量子消しゴム、エントロピー - hiroki_fの日記
の続き。

情報エントロピーと熱力学エントロピーは深い関係にある。しかし、統計力学の教科書を読んでもこの事を書いてあることはあまりない。

統計力学は、kをボルツマン定数として、系の持つ状態数ΩとエントロピーSに
$S=k log \Omega$
の関係があることを仮定している。

ボルツマンがこの関係を見出したことは、彼が天才であることの証だと思う。

しかし、この関係が何故成り立つのかについては、はっきりしない。

かつては、エルゴード理論などという無意味な空論がその根拠とされ、多くの統計力学の本の冒頭にはその記述がある。苦し紛れの議論で、真面目に考えるとおかしな結論を導き出す。

統計力学では、
$S=k log \Omega$
が成り立っていることは、暗黙の了解なのだけれど、熱力学との整合性を期待すると、状態数Ωに強い制約を与える。その制約を根拠なしに、状態数が全て満たすというのはまさに驚異だ。

$S=k log \Omega$ について、あまりスタンダードではないけれど、情報理論との関連で正当化してみようと思う。

甘利俊一の情報理論や、ベネットの考察(ファインマンの計算機科学に詳しい)を元に、僕の考察も交えて説明してみたいと思う。

ベネットの論文では、情報をエネルギーに変える仮想機械が提案されている。これを情報エンジンと名づける。

どんなふうに情報からエネルギーを得るのかというと、

分子が一つしかない気体を考える。仕切りを入れると気体は右か左かどちらかに存在することになる。仮に右に存在していることがわかると、ピストンをエネルギーを使うことなく、真中に持っていける。
そして仕切りを取ると、1分子気体の圧力を受けて、ピストンは仕事をすることができる。つまり、分子の存在情報から、エネルギーを取り出すことができた。

これは計算すると、情報エントロピー $log 2$ から、エネルギー $T k log 2$ を取り出せたことになる。ベネットはこの情報エンジンを使って、系が記憶を無くした時に系のエントロピーが上昇していることを示している。これを量子論的に議論しているのが、MAXWELL’S DEMON, SZILARD’S ENGINE AND QUANTUM MEASUREMENTS by Wojciech Hubert Zurekだ。

これは、特殊な場合にエントロピーと情報の等価性を示しただけに過ぎないが、物理法則の普遍性を期待すると、これを一般法則に格上げすることができる。

詳しい話は、KTln2 - hiroki_fの日記にしました。

甘利俊一の本(情報理論p26〜p30)では、雑談として遠慮がちに議論されていたが、僕はエルゴード理論なんかよりも、はるかに本質的な議論であると考えている。

統計力学のエントロピー $S=k log \Omega$ は系の微視的な状態の分からなさを表している。SはエネルギーU,体積V,粒子数Nで定まるが、それだけでは系の状態は完全に決まらない。状態数Ωだけ不定性が残る。等重率仮定は全ての状態について同じ重みを与えるという統計力学の基礎となる仮定であるが、こういうことを考えなくても、系のもつ分からない情報量は、情報学の観点から、各量子状態が平等であるならば、 $log \Omega$ と定めることができる。ちなみに余談だけれど、シャノンは情報エントロピーを定義する際に、情報とは何かと言うことを上手い具合に議論しないで、情報エントロピーを議論している。今だったら、可逆圧縮がどの程度できるかを定義する量だと思って差し支えない。*2

ところで、ボルツマン定数kはなんだろうか？これはエネルギーの決め方、もしくは温度の決め方が恣意的であったために生じたものだと考えて良い。光が秒速30万Kmなのも、メートルの単位を恣意的に決めた為だ。ここからしばらくはボルツマン定数をk=1とする。

さて、量子力学によると観測してない対象は、取りうる量子状態の重ね合わせになっている。マクロな量(エネルギーU,体積V,粒子数N)が分かっても、量子状態を定めることはできない。A,B,C,‥といろんな可能性がある。どの状態についても、どれが実現するかということに対して特別な知識(情報)がないとすると、系の持つ分からなさの量はlogΩになる。そして、どの量子状態にあるということを知りえたときに得る情報量IはlogΩになる。

巨大な系(熱力学的な系)での通常の観測(操作)では、logΩの情報を系から得ることなんてありえない。量子状態をぴったり定めることをできないから、結局、系には観測で得た情報を引いた分だけの不確定性が残る。残った不確定性はどうやって実現するのかというと、似通った量子状態であると考えることができる。観測では決めることのできない状態がΩ'個あるのだ。

ここまでのことをまとめてみる。系の持つエントロピーをSとし、観測によって得る情報をIとすると、観測によって、系のエントロピーS'は、

S'=S-I

となる。情報を得ることによって系のエントロピーを減少させることができるのだ。

「おー、ラッキー。観測して、エントロピーを減少させることができるなら、第二種の永久機関ができるじょ。さっそく、特許に。」

と思った人。手を上げて!!

世の中そんなに甘くない。ベネットは、情報を蓄えとくメモリーについても考察した。情報を情報として保持する為には、メモリーを持ってる必要がある。メモリーの保持している情報量をMとする。

観測する前には、M=0だ。そして観測した情報量Iを保持した場合、当然、M=Iになる。

そこで、系を観測対象だけではなくメモリーも含めて考えてみようと思う。

全体のエントロピーは、S+Mになる。

観測対象のエントロピー初期のエントロピーを $S=S_0$ とし、メモリーをM=0とする。

全体のエントロピーS+Mは
$S+M=S_0 +0$
となる。

観測して情報量Iを得るとすると、
観測対象のエントロピーは、 $S=S_0-I$
メモリーの情報量は、M＝I
となる。つまり、全体のエントロピーS＋Mをみると、
$S+M=(S_0- I)+I=S_0$
となって、観測対象とメモリーを含めた系全体としては、エントロピーは全く変わってないことが分かる。

MAXWELL’S DEMON, SZILARD’S ENGINE AND QUANTUM MEASUREMENTS by Wojciech Hubert Zurekには、ここまでの一連の操作が、unitary発展で書けることを示している。unitary発展であると量子論的エントロピーは変わらない。

さて、観測対象のエントロピーを更に低くするためには、メモリーの情報を破棄して、M=0にしなくてはならない。

さて、メモリーの情報を破棄するのにコストはかからないのであろうか？コストが0ならば、メモリーの情報をじゃんじゃん破棄して、観測対象のエントロピーを幾らでも下げることができる。

しかし、これを阻むものがいた。

熱力学第二法則、またの名をエントロピー増大の法則と言う。

「メモリーの情報を破棄するのが、タダだったらエントロピー増大の法則を破っちゃうから、メモリーの情報を破棄させるところは、第二法則よりエントロピーが増大するはずだよね。」って話が、ベネットの論文The thermodynamics of computation—a review | SpringerLinkだ。

環境のエントロピーをNとすると。
メモリーと環境のエントロピーはM+Nになる。

メモリーを破棄する前のエントロピー

メモリーのエントロピーは、M=I
環境のエントロピーは、 $N=N_0$
となる。よって、
$M+N=I+N_0$
が成り立つ。

メモリーを破棄した後のエントロピー

メモリーのエントロピーは、M=0
環境のエントロピーは、 $N=N'$
となる。よって、
$M+N=0+N'$
が成り立つ。

エントロピー増大の法則より、
$I+N_0\le0+N'$
が成り立つ。

つまり、メモリーを破棄するためには、環境のエントロピーを少なくともI上げなくてはならない。

対象となる系と環境の熱力学的なエントロピーの変化分Δ(S+N)は、得られた情報Iを改めてΔIで定義しなおすと

Δ(S+N)≧ΔI

となる。つまり熱力学第二法則は、ベネットの理論により、

Δ(S(環境と対象となる系を含めた全体)+I)≧0

と定義しなおすことができる。

これは何を意味するかと言うと、物理系の情報、例えば粒子の位置や速度の情報ΔIを得る為には、観測対象、観測装置、環境を含めた全エントロピーをΔS上げることなしには不可能だということある。つまり、情報エントロピーIを下げる為には、熱力学的エントロピーΔSをあげなくてはならない。

このことから、次のようなことが自然と分かる。

あまりにも特殊な量子状態は、観測されない。それは、特殊な量子状態を観測することは、観測によって得る情報量が莫大であり、観測装置にその情報を蓄えるメモリーを用意しとかなくてはならない。

例えば、1㍑の気体にはおよそ10＾23の気体分子があり、これは0.1ヨタバイト (YB)のメモリーが必要になる。

ん、ヨタバイト？
ヨタバイト - Wikipedia

えっと、1テラの10＾12倍だから、0.1ヨタバイトなら1000兆個の1テラバイトのハードディスクがあればいいのか。
googleは500万テラバイトの情報をもっているらしいから、2億googleあれば良いのか。

こんな高精度な実験をマクロな系に対してするなんて無理だよね。

ありえない現象を観測するというのは、それだけ情報エントロピーを増大させるのだけれど、そのためには情報エントロピーを蓄えるメモリーを持っていなくてはならない。普通のマクロな観測で、ありえない現象(例えば、溶かしたインクは一点に集中するとか)を観測できないのは、そのような情報を記憶するメモリーを観測装置が備えてないからなんだよね。

観測装置がヨタバイトの記憶装置をもっていて、そういう情報を測定できるなら、ありえない現象(例えば、溶かしたインクは一点に集中するとか)を観測することができるかもしれないけど、その場合もちゃんとエントロピー増大の法則は守られている。

インクが拡散していく様を眺めているのは、量子状態の重ねあわせを淡い色の中に見ているんだよね。

補足:ありえない状態とは？
例えば、箱の中央に仕切りを入れたときに気体分子が、どちらか片方に偏って観測されること。

粒子数を10＾23だとすると、この現象が起こる確率は2^(10^23)分の1となる。まず、起こりえないと思って良いだろう。

ここで、重要なのはその確率の低さそのものよりも、2^(10^23)分の1の現象を観測した場合の情報量Iの値だ。最初、系の持っている不確かさを表す情報エントロピーは、log 2^(10^23)だ。一方、片方に分子がよっていることを観測した場合の系の不確かさを表す情報エントロピーは、log 1=0だ。つまり、観測によって得た情報エントロピーIは、log 2^(10^23)となる。bit換算で10^23 bitになる。つまり10^23 bitという途方もない情報を観測装置は保持しなくてはならない。ちなみに、熱量換算すると、ボルツマン定数が $1.3806503 \times 10^{-23} J K^{-1}$ と小さいので、大した熱量にならない。

観測装置の解像度が現象に影響与える、もしくは量子状態の重ね合わせを復活させることは、量子消しゴムの例で明らか。
粗視化、量子消しゴム、エントロピー - hiroki_fの日記

*1:http://home.att.net/~numericana/answer/demon.htmの図を拝借

*2:コンピューターの発展のおかげで数学的概念を日常の実体験として感じることができるようになったのは、とてもありがたい。