深層学習の原理に迫る 数学の挑戦
著者：今泉 允聡
出版社：岩波書店
ISBN：9784000297035
機械学習や深層学習を学ぶ上でスッキリしないことがある。
何かと言えば、何故その処理でその結果が求めることができるのかという点に関して明確な理論的説明がない事である。
本や論文に書かれている内容は情報科学的な処理過程であり、数学的原理の説明は何もない。
データ解析に使われる他の手法、例えばウェーブレット変換。これは関数として厳密な数学として定義されており、（連続的関数として定義されているために）離散化に関してもきちんと数学的に保証されている。
つまりこの関数の定義に従って使う場合、結果は保証される（ただしこの定義を無視して使えば当然結果は保証されない。
別に解析学だけではなく、統計学においても正規分布を前提としている手法に正規分布とは異なる分布のデータを用いたり、直交性が保証されない手法で出た結果を直交性あるように使ったりなど、間違った使用法をしている事は多々ある。最近はツールが充実しているし、間違ったデータを入れても取り合えず結果は出力される。数学的に理解していないと「ゴースト」な値を結果として話を進めている事が多々ある）。
機械学習に関しては学習理論の側面から理論を学ぶ事ができるが、深層学習に関しては理論に関して説明している本は殆どない。その点で貴重な本だと思う。
本書は啓蒙書なので研究の詳細までは書かれていないが、現在どのような点が研究課題として挙がっていて、どのような研究がなされているかという概略を知る事ができる（詳しくは巻末の引用文献を読む事）。
紹介されている研究課題は「なぜ多層が必要なのか」「膨大なパラメータ数の謎」「なぜパラメータの学習ができる？」になるが、「なぜパラメータの学習ができる？」における「勾配降下法」に関する説明のところで「焼きなまし法」では学習が上手くできないという点は面白い。
物理を研究していた事がある人間なら、ポテンシャルが一番低いところを探すと言えば「焼きなまし法」が昔から有名であり、「勾配降下法」をさも新しい考えのように言っている深層学習の本を怪訝な目で見ていたと思う。
関数を収束されるという点からこの辺は研究を進めていけば面白い事になりそうだな～と思う。
しかしながらこの本の重要なところは最後の章 「原理を知る事に価値はあるか」に凝縮されている。
何故、上手く問題を解けているのに数学的に原理を解かないといけないのか、そんな事しなくたっていいじゃないかという多くのエンジニア達の思いに対し、科学者・研究者の立場から発言してくれている。
原理を解かなければならない理由として３つが挙げられている。その３つとは
・現状の深層学習はまだ問題を抱えており、その解消に数学的な理解が必要
・数学を用いて深層学習の原理を定式化することが、より高度なデータ解析技術の開発を可能にするから
・深層学習の原理を解明することが、データ解析や数学の理論の新しい領域の開拓につながる
である。
「数学的な理解が必要」というのは、「理解したい」「理解しないと気持ちが悪い」という欲望がある事も事実だが、しっかり数学として取り扱う事ができれば、多様な分野の数学と融合する事ができ、今までとは異なる方向性で発展する可能性があるからである。
基本的に関数を決定するための手法に過ぎないため、どの空間に写像しているかが分かれば（少なくとも数学的には）シンブルな式で表す事ができ、計算もあっという間にできる方法を編み出す事ができるかもしれないのである。
また、数学的根拠が明確になることにより、今、深層学習で解くことができている問題に新しい理論的展開が望めるかもしれない。例えば自然言語処理の過程が何を意味しているかを理解できる事により、脳における言語処理や言語の成り立ちについて理解できるかもしれない。
物理も理論（数学）と実験の相互作用によって進展してきた。深層学習も数学と計算の両輪により進歩していく筈だ。
この本を読む事により、多くの人が深層学習の背景にある原理の重要さに気づいて欲しい。
