밑바닥부터 시작하는 딥러닝 5장 정리

< 이 챕터에서 알아볼 것 >

5.1 계산 그래프

5.2 연쇄법칙

5.3 역전파

5.4 활성화 함수 계층 구현

5.5 Affine, SoftmaxLoss 계층 구현

5.6 오차 역전파법 구현

 

 

5.1 계산 그래프

위의 numerical gradient 함수는 4장에서 만든, 가중치 각 원소에 대한 손실함수값의 변화량 구하는 함수이다. 모든 가중치 원소에 대해 연산을 하니 매우 비효율적

 

 

 

5.2 연쇄법칙

 

 

 

5.3 역전파

 

 

5.4 활성화 함수 계층 구현

 

 

 

 

 

 

sigmoid 계층을 정리하면

 

 

 

5.5 Affine, SoftmaxLoss 계층 구현

 

Y = np.dot(X, W) + b의 계산 그래프

 

 

역전파를 고려한 Y = np.dot(X, W) + b의 계산그래프

 

위 그림을 클래스로 구현

 

 

 

 

 

 

 

 

 

5.6 오차 역전파법 구현 (가정은 4장과 동일)

 

< 정리 >