AI のための数学 (2)

1）講習会概要

この講習会は春 (秋) 学期前半に開講する「AI のための数学 (1)」の続編にあたる。 (1) では行列の基本的な事柄について学んだが、(2) の講習会では、AIで用いられる行列の話題を深堀する。行列を用いる概念は AI だけでなく、様々なところで登場する。例えば、2変数関数における極値問題を解くために行列が必要になってくる場面がある。この講習会では各回それぞれ独立した内容を取り扱う予定である。どの回も機械学習においては非常に重大なテーマになる。

2）各回の実施内容

第１回　多変数関数の極値問題（１）

AIのモデルを学習させる際、ある関数を最大化、もしくは最小化しようと学習することが多い。しかし、最大化・最小化問題は全体の状況を見なければならないため、難しい側面がある。そこで、最大化・最小化問題を少し簡単にした極値問題を考える。極値問題は周辺の状況から微分を用いて機械的に問題を解くことができ、AIにおける学習でよく用いられている。

第２回　ベクトル・行列の微分

これまで、高校数学などでは実数値関数の微分を扱っていたが、今回はベクトルや行列を対象とした微分について学んでいく。機械学習の分野では頻出の話題であるので、今後機械学習の勉強を進める中で出てくることが多々あると思う。計算の定義→公式→証明のながれで講義をすすめていく。講義の最後では、学んだ手法を用いて線形回帰モデルの最小二乗推定量を求める。

第３回　主成分分析

主成分分析とは統計学におけるデータ解析の手法の1つである。多くの情報を持つデータに対して、どのような観点でデータを見るべきかという問題を定量的な視点から解答を与えてくれる。固有値との関わりが大きい分野なので、AIの数学第1の内容をよく復習してほしい。

第４回　マルコフ連鎖 

マルコフ連鎖とは、簡単に言えば「時刻t+1のモデルが時刻tの状態にのみ依存するモデル」のことである。確率論で登場した概念であるが、AI分野にも応用されている。特に、近年注目を集めている画像生成モデルのMidjournyやStable Diffusionなどの基となっているDiffusion modelは、マルコフ連鎖を用いた生成モデルである。

第５回　カルバック・ライブラー情報量 

カルバック・ライブラー情報量は2つの確率分布の差異を測るために用いられ、その性質から機械学習だけでなく統計学、確率論、情報理論、統計力学など多様な分野に登場する。機械学習では特に変分オートエンコーダーの文脈で頻出する。変分オートエンコーダーは昨今の画像生成モデルで用いられている。

本講義では、まず確率分布の定義を確認する。次に、カルバック・ライブラー情報量の定義・性質を述べ、諸分野で登場する類似概念との関連を紹介する・最後に、変分オートエンコーダーの概要を説明し、カルバック・ライブラー情報量がどのように用いられているかを紹介する。