밑바닥부터 시작하는 딥러닝 6장 정리

< 이 챕터에서 알아볼 것 >

6.1 가중치 매개변수 갱신법

6.2 가중치 초기값

6.3 배치 정규화 (Batch Normalization)

6.4 바른 학습 방법

6.5 적절한 하이퍼 파라미터 찾는 방법

 

 

6.1 가중치 매개변수 갱신법

 

 

 

 

 

 

 

 

6.2 가중치 초기값

활성화 함수로 Sigmoid를 썼을때 활성화 값의 문제점을 알아보자

여기에서는 가중치 매개변수를 1, 즉 상당히 큰 값으로 설정해보자

 

이번에는 가중치 매개변수를 대부분 0.01로 했을 때 활성화 값을 알아보자

 

 

 

위 코드를 실행할 경우 다음과 같은 결과가 나오게 됨

 

 

6.3 배치 정규화 (Batch Normalization)

 

6.4 바른 학습 하는 방법

 

 

Dropout을 사용할 경우의 훈련, 시험데이터의 정확도

 

 

6.5 적절한 하이퍼 파라미터 찾는 방법