読者です 読者をやめる 読者になる 読者になる

みらいテックラボ

音声・画像認識や機械学習など, 管理人が興味のある技術の紹介や実際にトライしてみた様子などメモしていく.

機械学習プロフェッショナルシリーズ「深層学習」の紹介

深層学習(Deep Learning)について理解を深めようと, 機械学習プロフェッショナルシリーズの「深層学習」(岡谷貴之著)を読んでみた.

 目 次
第1章 はじめに
第2章 順伝播型ネットワーク
第3章 確率的勾配降下法
第4章 誤差逆伝播
第5章 自己符号化器
第6章 畳込みニューラルネット
第7章 再帰ニューラルネット
第8章 ボルツマンマシン

この本は, 深層学習の基礎から, 自己符号化器, 畳込みニューラルネット(CNN), 再帰ニューラルネット(RNN)など, 幅広く記載されている.
全般的に式の導出&説明が丁寧なので, 基礎的な数学(線型代数微分積分と確率など)の知識があればそれなりに読み通せる.

最近は, TensorFlowやChainerなどの深層学習フレームワークもあるので, 式の詳細を十分理解できなくても, 考え方を理解するだけでも十分に役立つと思う.

個人的には, 自己符号化器や畳込みニューラルネットのネット構造など理解が深まりよかった.
TensorFlowを使って試してみようと思う.

以下に, 第4刷の正誤表を気付いた範囲で載せておく.

ページ
p.1 下から1,2行目入力層から出力層から
p.2 2行目勾配消失問題という呼ばれる勾配消失問題と呼ばれる
p.3 8行目基づいて行わるものの,基づいて行われるものの,
p.11 3,4行目(retified linear function)(rectified linear function)
p.95 7行目 {\displaystyle \bar{x}_{ij} = \frac{1}{K} \sum_{k=0}^{K-1} \sum_{(p,q)\in P_{i,j}} w_{pq}x_{i+p,j+q,k}} {\displaystyle \bar{x}_{ij} = \frac{1}{K} \sum_{k=0}^{K-1} \sum_{(p,q)\in P_{i,j}} w_{pqk}x_{i+p,j+q,k}}
p.116 10行目 {\displaystyle \rm{v}}^t=(v_j^t){\displaystyle \rm{y}}^t=(y_j^t) {\displaystyle \rm{v}}^t=(v_k^t){\displaystyle \rm{y}}^t=(y_k^t)
p.120 4行目 {\displaystyle \frac{\partial E}{\partial w_{kj}^{out}} = \sum_{t=1}^T \frac{\partial E}{\partial v_k^t} \frac{\partial v_k^t}{\partial w_{kj}^{out}} = \sum_{t=1}^T δ_j^t z_j^t} {\displaystyle \frac{\partial E}{\partial w_{kj}^{out}} = \sum_{t=1}^T \frac{\partial E}{\partial v_k^t} \frac{\partial v_k^t}{\partial w_{kj}^{out}} = \sum_{t=1}^T δ_k^{out,t} z_j^t}
p.127 9行目'ccba''cbab'
注) 第1,2刷の正誤表はここを参照.

----

イラストで学ぶ ディープラーニング (KS情報科学専門書)

イラストで学ぶ ディープラーニング (KS情報科学専門書)

初めてのディープラーニング --オープンソース

初めてのディープラーニング --オープンソース"Caffe"による演習付き

深層学習 Deep Learning (監修:人工知能学会)

深層学習 Deep Learning (監修:人工知能学会)

ITエンジニアのための機械学習理論入門

ITエンジニアのための機械学習理論入門