機械学習プロフェッショナルシリーズ「深層学習」の紹介

深層学習(Deep Learning)について理解を深めようと, 機械学習プロフェッショナルシリーズの「深層学習」(岡谷貴之著)を読んでみた.

　目　次
第1章　はじめに
第2章　順伝播型ネットワーク
第3章　確率的勾配降下法
第4章　誤差逆伝播法
第5章　自己符号化器
第6章　畳込みニューラルネット
第7章　再帰型ニューラルネット
第8章　ボルツマンマシン

この本は, 深層学習の基礎から, 自己符号化器, 畳込みニューラルネット(CNN), 再帰型ニューラルネット(RNN)など, 幅広く記載されている.
全般的に式の導出&説明が丁寧なので, 基礎的な数学(線型代数，微分積分と確率など)の知識があればそれなりに読み通せる.

最近は, TensorFlowやChainerなどの深層学習フレームワークもあるので, 式の詳細を十分理解できなくても, 考え方を理解するだけでも十分に役立つと思う.

個人的には, 自己符号化器や畳込みニューラルネットのネット構造など理解が深まりよかった.
TensorFlowを使って試してみようと思う.

以下に, 第4刷の正誤表を気付いた範囲で載せておく.

ページ	誤	正
p.1 下から1,2行目	入力層から	出力層から
p.2 2行目	勾配消失問題という呼ばれる	勾配消失問題と呼ばれる
p.3 8行目	基づいて行わるものの,	基づいて行われるものの,
p.11 3,4行目	(retified linear function)	(rectified linear function)
p.95 7行目	$\bar{x}_{ij} = \frac{1}{K} \sum_{k=0}^{K-1} \sum_{(p,q)\in P_{i,j}} w_{pq}x_{i+p,j+q,k}$	$\bar{x}_{ij} = \frac{1}{K} \sum_{k=0}^{K-1} \sum_{(p,q)\in P_{i,j}} w_{pqk}x_{i+p,j+q,k}$
p.116 10行目	${\displaystyle \rm{v}}^t=(v_j^t)$ と ${\displaystyle \rm{y}}^t=(y_j^t)$	${\displaystyle \rm{v}}^t=(v_k^t)$ と ${\displaystyle \rm{y}}^t=(y_k^t)$
p.120 4行目	$\frac{\partial E}{\partial w_{kj}^{out}} = \sum_{t=1}^T \frac{\partial E}{\partial v_k^t} \frac{\partial v_k^t}{\partial w_{kj}^{out}} = \sum_{t=1}^T δ_j^t z_j^t$	$\frac{\partial E}{\partial w_{kj}^{out}} = \sum_{t=1}^T \frac{\partial E}{\partial v_k^t} \frac{\partial v_k^t}{\partial w_{kj}^{out}} = \sum_{t=1}^T δ_k^{out,t} z_j^t$
p.127 9行目	'ccba'	'cbab'