深層学習 勉強会5章~7章
今日は深層学習の勉強会をしました。
5章後半と7章前半だったかな?
CNNの勾配計算の話が一つ、あとはRNNの話でした。
CNNは前回の続きだったのでほぼ数式的な話でした。
CNNは畳み込みニューラルネットワーク (Convolutional Neural Networks)のことで、
画像系の深層学習でよく使うやつですね。
RNNは再帰型ニューラルネットワーク(Recurrent Neural Network)のことで、
言語系とか、時系列関係あるときに使うやつですかね。
imagenetとか画像なんかは時系列的なことは関係ないと思うんですが、
音声だとか言語とかで、
次に繋がるであろう言葉を推測するときには一つ前のデータが関係するわけです。
今回スライドで出た例なんかは「ガルパンは」いいぞという内容でしたが、
「ガルパン は」と来ると次の単語のいいぞが推測出来るわけです。
こういう時系列に意味を持つ場合にRNNを使うみたいです。
一般的なニューラルネットと再帰型を見比べるとわかりやすそうですね。
順伝播計算はもちろん前の内容に影響を受けます。
逆伝播はなんだか相変わらずわかりにくいですね。
言語処理とかでLSTM使う場合が多いですが、
そういう人はRNNのお勉強がいるんですかね。
お勉強会のスライドは公開していいのかわかりませんが、
slideshareにめちゃわかりやすいスライドがあるので見ましょう。