본문 바로가기

전체 글

(39)
밑바닥부터 시작하는 딥러닝 6장 정리 6.1 가중치 매개변수 갱신법 6.2 가중치 초기값 6.3 배치 정규화 (Batch Normalization) 6.4 바른 학습 방법 6.5 적절한 하이퍼 파라미터 찾는 방법 6.1 가중치 매개변수 갱신법 6.2 가중치 초기값 활성화 함수로 Sigmoid를 썼을때 활성화 값의 문제점을 알아보자 여기에서는 가중치 매개변수를 1, 즉 상당히 큰 값으로 설정해보자 이번에는 가중치 매개변수를 대부분 0.01로 했을 때 활성화 값을 알아보자 위 코드를 실행할 경우 다음과 같은 결과가 나오게 됨 6.3 배치 정규화 (Batch Normalization) 6.4 바른 학습 하는 방법 6.5 적절한 하이퍼 파라미터 찾는 방법
밑바닥부터 시작하는 딥러닝 5장 정리 5.1 계산 그래프 5.2 연쇄법칙 5.3 역전파 5.4 활성화 함수 계층 구현 5.5 Affine, SoftmaxLoss 계층 구현 5.6 오차 역전파법 구현 5.1 계산 그래프 5.2 연쇄법칙 5.3 역전파 5.4 활성화 함수 계층 구현 sigmoid 계층을 정리하면 5.5 Affine, SoftmaxLoss 계층 구현 5.6 오차 역전파법 구현 (가정은 4장과 동일)
밑바닥부터 시작하는 딥러닝 4장 정리 4.1 신경망 학습 방법 4.2 손실 함수 4.3 수치 미분 방식 4.4 기울기 (Gradient) 4.5 학습 알고리즘 구현 4.1 신경망 학습 방법 임의의 입력값 x1 = 0.6, x2 = 0.9라고 가정했을 때, 출력값 y1 = 0.33, y2 = 0.67이 나왔다고 가정하자. 이 때, -tlny 라는 손실함수에다가 y값들을 넣을건데, t = [0, 1]이라면, 손실함수의 값으로는 -ln(0.67)이 나온다 만약 y2 = 0.99라면, -ln(0.99) = 0과 비슷해질것 만약 위 그림의 신경망 구조일 경우 W1은 2x3 형태의 행렬일 것. 이 때, 각 가중치 원소에 대해 미소값만큼 변화줄때, 손실함수의 값의 변화량을 알면 가중치 수정방향을 알 수 있을것 4.2 손실함..