生物の脳は高度で柔軟な情報処理を行うことができます。脳内に分散したさまざまな情報は相互に結合した多数の神経細胞の働きによって並列に処理されますが、進化の結果獲得された我々の脳はこうした並列分散処理の機構は、数学的にも興味深い原理があると考えられています。現在多くの研究者が「学習する機械」のより良い実現を目指し、脳をモデルとした情報処理に興味を持っています。計算機上で実際に行うことができる情報処理は、生物の複雑な神経機構とはかけ離れたものである場合も多いですが、脳の情報処理を単純化・抽象化し、記憶や学習といった過程を数学的にモデル化し、その情報処理の仕組みを工学的に実現することは重要です。機械学習の研究分野では、こうした情報処理の原理を探求することによって、制御やパターン認識などの基本的な問題から例えばエネルギー運用の最適化や物質材料の設計などさまざまな分野へその応用を拡げています。

学習機械を用いて応用的な課題を解決するためには、学習に関する強力な理論が必要です。我々の研究室ではこれまでに2つの方法論を用いて、この問題に立ち向ってきました。それは、確率的なモデリング技術と確率分布の空間の幾何学です。

データが雑音を含むとき、一般に入力と出力の関係は条件付分布を用いて記述されます。機械の学習過程は確率的であり、それもまた確率分布と確率的な力学系を用いて記述されます。これは機械が確率的でなく決定的に振る舞う場合でも当て嵌まります。このため、学習機械を統計学や確率論の枠組で扱い、それらの性質を調べることは非常に有効です。

もう1つの重要な考え方は幾何学です。1つの特定の学習機械の性質はさまざまな数学的方法で調べられたり計算機実験が行われていますが、特定の学習機械について議論するだけでなく、ある種の性質を持つ学習機械の集合を考え、その集団の能力や限界を議論することは、時として機械の性質や学習アルゴリズムを理解するのに非常に有効な方法です。パラメタをn個持つ機械の集まりは、それらを座標とするn次元の多様体となりますが、この多様体の幾何学的な性質が学習機械の性能と密接に関係していることがわかってきました。確率分布のなす多様体の情報構造に着目して統計学と幾何学を結び付けるこの考え方は情報幾何と呼ばれ、1980年代に確立しました。微分幾何学とよばれる分野で発展した数学的な道具とともに発展し、現在は統計学ばかりでなく機械学習の分野でも用いられるようになってきました。