とね日記

理数系ネタ、パソコン、フランス語の話が中心。
量子テレポーテーションや超弦理論の理解を目指して勉強を続けています!

情報理論:甘利俊一

2012年11月23日 15時03分30秒 | 電子工学、工学系
情報理論:甘利俊一」(Kindle版

内容(「BOOK」データベースより)
クロード・シャノンが記念碑的論文「通信の数学的理論」を発表したのは1948年のことだった。それから60余年―今では情報理論は情報通信のみならず、生命科学や脳科学、社会科学など幅広い分野に応用されるようになっている。情報理論は高度な数学を用いているが、“大数の法則”をおさえることでその本質がすっきりと見えてくる。シャノンのアイディアから情報幾何学の基礎までを、初学者にもわかるよう明快に解説、情報理論の考え方と仕組みを直観的に理解するための、第一人者の手による入門書。


理数系書籍のレビュー記事は本書で198冊目。

通信の数学的理論:クロード・E. シャノン、ワレン・ウィーバー」で理解できなかった部分を補おうと本書も読んでみた。

工学博士の甘利先生がまだ若き30代のころ「数理科学」という雑誌に16回に渡って連載したものを1970年に刊行し、昨年4月にちくま学芸文庫から復刊された本だ。

いかにも科学雑誌風といった語り口なので読みやすい。先生の爽やかで明るいお人柄がうかがえる好書だと思った。とはいうものの内容は大学の教科書並みなので、大学1、2年までで学ぶ数学を理解しておく必要がある。

具体的に言えば、微積分、確率論、線形代数、ベクトル解析、フーリエ変換などだ。後半にはリーマン幾何学や位相空間もでてくるので、これらの意味くらいは知っておいたほうがよい。数学っぽさが際立ってくるのは第4章から始まる連続的な通信(アナログ通信)以降なので、それ以前の章はそれほど前提知識を必要とせず、高校の数IIIまでの範囲と線形代数(大学1年)で十分だ。

第1章から第3章は離散的な通信、つまりデジタル通信についての話。これらの章では「通信の数学的理論:クロード・E. シャノン、ワレン・ウィーバー」に沿った内容になっている。しかし本書の「わかりやすさ」は際立っている。同じことを説明するのに語り口やとりあげる例によってこうも違ってくるものなのか。。。さわやかな感動を覚えながら読み進むことができた。

第3章では雑音のあるデジタル通信の理論が解説されるのだが、雑音の影響をどのように排除できるのか、その限界について線形代数を使った証明がなされている。もやもやしていた部分が解消してすっきりした。

説明はまずシャノンの理論をより丁寧に式を交えながら解説し、その後に身近な例を取り上げてその理論を検証する。このスタイルが繰り返されるので、学びつつ知識を確認するというステップで振り落とされることなく読み進むことができるのだ。

第4章以降は連続通話路による通信、つまりアナログ通信の理論だ。この部分はシャノンの論文でしっくりイメージができなかった部分。甘利先生はシャノンの理論も紹介しつつ、だんだんと独自の解説を展開されている。説明の上手さは第4章以降で特に発揮されていると思った。

第4章の後半と第5章で「信号空間」を使った解説が始まる。この空間は発信側と通信路をそれぞれN次元からM次元の空間に見立てた多次元の位相空間(数学的な空間)として取り扱い、その間の写像により通信の状況を記述する。通信を邪魔する雑音もその中に含まれる(多次元の)雑音空間として取り扱われる。

一般的にはこれらの多次元空間は曲がった空間、つまりリーマン幾何学になるわけだが、リーマン幾何学を学んでいない方にもイメージできるような工夫がされている。もちろん曲がった空間にはその曲率を示す「計量」とよばれる行列が使われるが、このあたりはまるで一般相対論の本なの?とも思えてしまう。つまり第5章は甘利先生が創始された「情報幾何学」への入門という位置付けだ。

数学に慣れていない方は位相空間やリーマン幾何学などの「高尚な?」数学理論を持ち出されると「こりゃ、すごいものらしい。」と過度な幻想を抱いてしまうかもしれないが、そのような幻想は無用だ。というか幻想しないほうがよい。

アナログ通信の原理をそれらの数学理論のモデルにあてはめたら、通信理論がすっきりと明快に証明できるから使ってみた、というだけのものなのだ。書かれている数式は確かに超難しそうに見えるが、本質的なアイデアはごくシンプルなのである。

僕の持論:現代数学や基礎数学(数学基礎論)は魅力的だしその可能性には幻想を持ってもよいと思うが、応用数学は数学モデルのあてはめなので過度な幻想は禁物である。

それでもこの多次元の信号空間の理論で、ラジオのAM放送よりFM放送のほうが雑音が少なくクリアな音声で聞こえる理由が説明されているのを読んだときは「すごい!」と思った。AM放送もFM放送もアナログ通信技術で雑音の影響を受けないための高度な数学理論と技術が活かされている。アナログの電子回路、通信技術はとても奥が深そうだ。

というわけで、僕の持論はさっそく揺らいでしまったのだ。


第5章では信号空間を離散化した「量子化通信方式」という手法が紹介されるが、これは信号空間を分割して考えるもので物理の量子力学とは関係ない。「量子化ナントカ」というのはときどき見かけるが、その本質を見極めることが大切だ。言葉に惑わされてはいけない。

さて、最近僕がこだわりをもっている「熱力学的なエントロピー」と「情報エントロピー」の関係についてだが、甘利先生は第1章の雑談の中で次のようにお書きになっている。

「両者はもちろん類似の性質をもつが、一応別物と考えてよい。」
「両者は別物でなく、1つのまとまった物理像を示す統一概念であると主張することもできる。」
「情報エントロピーと熱力学エントロピーの換算関係はとてつもなく不釣合いなので、通常の情報過程を論ずる場合には、その情報を担っている物理系のエントロピーの増減の問題は無視してよい。」
「とてつもない高精度で測定することを考えると、情報はエネルギーとは無関係などといってはいられなくなる。」

繰り返しになるが、連載記事の中で先生がこれらの文章をお書きになったのは1968年~1969年にかけてのことである。


本書について僕の理解度は97パーセントほど。わからなかった3パーセントとは第3章の終わりのところで多項式環やイデアルを使った次の定理の証明の箇所だ。

定理:巡回符号を表わす多項式 x(t) の全体は t^n - 1 を法とする多項式環のイデアルをなす。

これだけでは何のことかわからないと思うが、この定理によってデジタル通信における誤り発生を巡回符号という方法を使って訂正できることが保証されるようになるのだ。


あくまでオリジナルやルーツにこだわるのなら「通信の数学的理論:クロード・E. シャノン、ワレン・ウィーバー」を、そのこだわりを捨て「理解する」ことを重視するのなら甘利先生の本をお勧めしたい。

-------------------------------------------
2016年4月に追記:

乱雑さを決める時間の対称性を発見
-100年前の物理と数学の融合が築くミクロとマクロの架け橋-
http://www.riken.jp/pr/press/2016/20160427_2/
-------------------------------------------


応援クリックをお願いします!このブログのランキングはこれらのサイトで確認できます。
にほんブログ村 科学ブログ 物理学へ 人気ブログランキングへ 



情報理論:甘利俊一」(Kindle版


まえがき

第1章:情報の数量的認識
第1節:情報量とエントロピー
- 情報の量をいかに定めるか
- 情報の量をいかに定めるか
- エントロピー
- 複合事象のエントロピー
- 条件付エントロピー
- 相互情報量
- 雑談
第2節:情報源
- 情報源のモデル
- マルコフ的情報源
- 情報源の冗長度
- 情報源の大数の法則
- 情報源のエルゴード性
- 雑談

第2章:雑音のない通話路による情報伝送
第1節:雑音のない離散通話路
- 情報伝送のモデル
- 雑音のない通話路の容量
- 雑音のない離散通話路の符号化定理
- 雑談
第2節:符号化による冗長度の除去
- 符号化と冗長度の除去
- 簡単な符号化
- 最適な符号化法
- 雑談

第3章:雑音のある通話路での情報伝送
第1節:雑音のない離散通話路
- 雑音の妨害下での情報伝達量
- 通話路容量
- 雑音のある通話路を用いた誤りのない情報伝送
- 雑談
第2節:誤り訂正符号
- 誤り訂正のしくみ
- Hamming距離
- Hamming符号
- 線形符号
- 巡回符号
- 雑談

第4章:連続情報と信号空間
第1節:連続信号のエントロピー
- 連続信号のエントロピーの定義
- 種々の信号のエントロピー
- 条件付エントロピーと相互情報量
- 信号の変換とエントロピー
- 雑談
第2節:信号空間の構成
- 信号空間
- 標本化定理
- 時間領域表示と周波数領域表示の間の関係
- 雑談
第3節:連続通話路
- 連続通話路による情報伝送
- 白色ガウス雑音を発生する通話路の容量
- 連続通話路による誤りのない通信
- 雑談
第4節:信号空間の情報幾何学
- 信号空間の雑音と計量
- リーマン的信号空間
- 信号空間の情報理論
- 雑談

第5章:信号空間の写像と通信系の理論
第1節:通信系の構造
- 通信系の構造
- 通信系の構成
- 符号伝送系
- 連続写像を用いた通信系
- 量子化通信方式
- 雑談
第2節:連続通信系の理論
- 信号空間の挿入写像
- 信号空間の退化写像
- 退化写像による雑音構造の変換
- 最適退化写像
- 雑談

参考文献
文庫版あとがき
索引
コメント    この記事についてブログを書く
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする
« 冬の節電に電気毛布 | トップ | 時:渡辺慧 »

コメントを投稿

ブログ作成者から承認されるまでコメントは反映されません。

電子工学、工学系」カテゴリの最新記事