エントロピー

シャノンエントロピーって難しい。シャノンエントロピーを連続量にすると、∞に発散してしまう。発散を取り除く為に定義を変えると、今度は負の値が出てしまう。一方、熱力学では、熱力学第三の法則により、S≧0になる。

確率論的なシャノンエントロピーは自然を記述するのに複雑すぎるのだと思う。これは大域対称性がローレンツ不変性であることが、ガリレイ不変性であることよりも、数学的に単純であることと事情が似ていると思う。

最近、勉強していくとノイマンがあちらこちらに居て、まるで、孫悟空がいくら觔斗雲を飛ばしても、お釈迦様の手の上から逃れられないような感じ。

最近、甘利俊一の「情報理論」を読んだ。やっぱ、big mindの書く本は分かりやすさが違うと思った。今井功の「流体力学」もかなり分かりやすくて名著だったが、「情報理論」もなかなかの名著。学術書を一日で読みきることはなかなかできないが、これは面白かったのでできた。まぁ、後で精読は必要だと思うが。