深層学習とその他

機械学習したいマン

深層学習 勉強会5章~7章

今日は深層学習の勉強会をしました。

 

5章後半と7章前半だったかな?

CNNの勾配計算の話が一つ、あとはRNNの話でした。

 

CNNは前回の続きだったのでほぼ数式的な話でした。

CNNは畳み込みニューラルネットワーク (Convolutional Neural Networks)のことで、

画像系の深層学習でよく使うやつですね。

RNNは再帰ニューラルネットワーク(Recurrent Neural Network)のことで、

言語系とか、時系列関係あるときに使うやつですかね。

 

imagenetとか画像なんかは時系列的なことは関係ないと思うんですが、

音声だとか言語とかで、

次に繋がるであろう言葉を推測するときには一つ前のデータが関係するわけです。

今回スライドで出た例なんかは「ガルパンは」いいぞという内容でしたが、

ガルパン は」と来ると次の単語のいいぞが推測出来るわけです。

こういう時系列に意味を持つ場合にRNNを使うみたいです。

一般的なニューラルネット再帰型を見比べるとわかりやすそうですね。

 

順伝播計算はもちろん前の内容に影響を受けます。

逆伝播はなんだか相変わらずわかりにくいですね。

 

言語処理とかでLSTM使う場合が多いですが、

そういう人はRNNのお勉強がいるんですかね。

 

お勉強会のスライドは公開していいのかわかりませんが、

slideshareにめちゃわかりやすいスライドがあるので見ましょう。