生成AIの理論初級

5/15（木）、5/22（木）18:15-20:15

回数：全4コマ（1日2コマｘ2日間）

形式：対面（AICラウンジ）

主催：AIC

締切：5/13（火）12時

塾生のお申し込みはこちら

社会人のお申し込みはこちら

1）講習会概要

今話題の生成AI。その仕組みを「なんとなく使っている」から「なるほど、そういうことか！」に変えてみませんか？

この講習会では、急速に進化している生成AIの技術について、仕組みや理論の概要をわかりやすく学びます。たとえば、AIが学んでいる「分布」って一体何なのか、それがわかるとどうして文章や画像を“それっぽく”作れるのか――そんな疑問を、難しい数式に頼らず、直感的に理解できる内容になっています。

実際にGPT-3や画像生成AIの構造をのぞいてみながら、AI分野で広く使われている基本的な考え方を一緒に学んでいきます。

「仕組みをきちんと知った上で、生成AIをもっと活用したい」
「でも、自分でコードを書くのはちょっとハードルが高い…」
そんな方にぴったりの講座です。

ノーコードで学べるので、AIの世界に初めて触れる方も安心してご参加いただけます。理論と実例のバランスを大切にした、やさしくて面白い“AIの入口”として、ぜひ体験してみてください。

2）形式

対面（日吉　協生館2階　AICラウンジ）
※録画およびオンライン配信の予定はありません。

3）受講条件

塾生（学部・学年不問）および教職員
※AI・プログラミングに興味がある方なら、文理問わず受講可能です。特別な知識・スキルは不要。
※共通テストより難しい数式は扱いません。動作のサンプルとしてプログラムを見せますが、特に前提知識は必要ありません。

4）講師紹介

村松亮（環境情報学部）

2023年度『機械学習上級講座』
2024年度『生成AI理論と実装』・『深層学習を用いた音響信号処理』　講師

2020年より深層学習を用いた音響信号処理に関して研究活動を開始。
現在は自身の事業、一般企業等にて深層学習に関する研究を行う。
RegeneronISEF2022日本代表、文部科学大臣特別表彰等。

5）実施内容

1日目　5月15日（木）

第１回	18:15-19:15	「思考実験：完璧なプロンプト」を行ってみよう。あなたが欲しい画像のイメージがあったとして、それを完璧にAIに生成させるためのプロンプト(指示文)はどうなるだろうか。それを通じて、確率分布と生成の世界観を掴む。今までのAIと生成AIの違い、主な生成AI、簡単な確率や乱数生成について確認したのち、早速理論を考える。まずいろいろな簡単なデータについて分布を確認する。それらについて、条件を課した際の事後分布を見ていくことで、プロンプトの意義を確認していく。最終的に、低次元データを正規分布から生成し、「生成をするには分布を知る必要がある」ことの確認へ帰着していきたい。
第２回	19:15-20:15	「猫」、「犬」、「AIC」という単語があった時、「猫」と「犬」は比較的単語として近いとイメージが湧くだろう。さて、単語の近さとは定量的にどう評価できるだろうか。それを考えることで、単語の分布というものが見えてくる。すなわち、生成への道筋が見えてくることに他ならない。まずは、徹底的に「分布仮説」というものと向き合っていく。単語の出現頻度と文脈について考え、良い単語のベクトル表現に頑張って辿り着いていきたい。ここまで来れば、トークンの埋め込みという概念がスッと理解できるはずである。

2日目　5月22日（木）

第３回	18:15-19:15	文脈を元に生成を行う。AIは文章を丸ごと生成しているだろうか？いや、ステップ毎に見れば、次の単語を予測しているに過ぎない。Transformer、ひいてはAttentionというものは何をしているのだろうか。文章の中で、結びつきが強い単語はどれだろうか？それがわかるとどう役立つだろうか？我々でGPT-3を完成させよう。そして画像である。コンピュータ上における)画像とはどのようなデータなのか見ていきたい。手描き文字データセットmnistを通じて、その行列表現を確認する。
第４回	19:15-20:15	画像分類AIを通してそのAI的な取り扱いを考えたい。論理回路の単純パーセプトロンによる近似で遊んでみよう。この大規模化によって、とあるベクトル(テンソル)を入力に取り、出力する、ある種関数のような取り扱いについてそのイメージを掴む。ここまで来れば、画像分類AIはすぐそこである。最終的に、VAEというモデルについて考えたい。なぜ、エンコーダ-デコーダという形式なのだろうか。その答えは、エンコーダの出力分布について、ラベル毎に確認すると見えてくるだろう。

6）持ち物

PC(windows, macその他linuxなど問わず)

7）昨年度参加者の声

ニューラルネットワークを用いたモデルの推定について理解することができました
自習でVAEの理論を学習しようとしたときは理解することが難しいと感じたが、参考図書や説明が分かりやすかったのでVAEを理解することができた