밑바닥부터 시작하는 딥러닝 4장 정리

< 이 챕터에서 알아볼 것 >

4.1 신경망 학습 방법

4.2 손실 함수

4.3 수치 미분 방식

4.4 기울기 (Gradient)

4.5 학습 알고리즘 구현

 

 

4.1 신경망 학습 방법

 

 

임의의 입력값 x1 = 0.6, x2 = 0.9라고 가정했을 때, 출력값 y1 = 0.33, y2 = 0.67이 나왔다고 가정하자.

이 때, -tlny 라는 손실함수에다가 y값들을 넣을건데, t = [0, 1]이라면, 손실함수의 값으로는 -ln(0.67)이 나온다

만약 y2 = 0.99라면, -ln(0.99) = 0과 비슷해질것

 

 

만약 위 그림의 신경망 구조일 경우 W1은 2x3 형태의 행렬일 것. 이 때, 각 가중치 원소에 대해 미소값만큼 변화줄때, 손실함수의 값의 변화량을 알면 가중치 수정방향을 알 수 있을것

 

 

4.2  손실함수란?

 

 

 

 

 

 

4.3 수치 미분 방식

 

 

 

 

 

 

 

 

4.5 학습 알고리즘 구현