대학원 준비2 (5) 썸네일형 리스트형 CNN 아키텍처 정리5 - 그 외 아키텍처(MobileNet, U-Net, DenseNet, ResNext) 5.1 MobileNet - 이제까지 본 아키텍쳐들은 고성능의 디바이스 환경의 경우였습니다. 하지만 자동차, 드론, 스마트폰 같은 cpu를 하나밖에 안갖고있거나 메모리도 부족한 경우에는 적합한 아키텍처가 아니었습니다. - MobileNet은 컴퓨터 성능이 제한되거나 배터리 성능이중요한 디바이스에서 사용될 목적으로 설계된, parameter를 획기적으로 줄인 CNN 구조입니다. 다음의 그림은 MobileNet의 전체 구조를 나타낸 그림입니다. 생긴건 앞에서 본 VGG와 비슷하게 생겼으나, MobileNet은 학습할 parameter를 줄이기 위해 Depthwise Convoultion과 Pointwise Convolution이라는 기법을 사용했습니다. Depthwise Convoultion이란, 채널별로 .. CNN 아키텍처 정리4 - ResNet 4.1 ResNet 소개 ResNet은 2015년도 ILSVRC에서 1위한 아키텍처입니다. 스탠포드 대학의 Andrej karpathy 가 알아낸 인간의 이미지 인식 오류율인 5%보다 낮은 오류율인 3.57%를 가집니다. 또한 그 전에는 깊다고 해봐야 22층 정도의 신경망인데, ResNet은 무려 152층을 가집니다 4.2 계층을 깊게 할수록 신경망의 성능이 오르는 이유 - 학습이 완료된 신경망은 앞쪽 Conv Layer를 통과시, Input의 단순한 특징을 추출 - 추출된 특징맵은 Layer들을 지날수록, 단순한 특징들이 조합된 복잡한 특징들에 반응하다가 Layer의 끝부분에서는 사물의 일부분이 추출되게 되고, FC Layer를 통과하면, 특징맵들을 조합하여 객체의 클래스를 판별 - 즉, 계층을 깊게 .. CNN 아키텍처 정리3 - GoogLeNet 3.1 CNN의 문제 3.2 Naive Inception Module 3.3 Naive Inception Module의 문제점 즉, Naive Inception Module을 쓰니 연산량이 854M으로 엄청나게 증가합니다. 이를 해결하기 위해 Bottleneck layer라는 것을 추가해주게 됩니다. 3.4 Bottleneck Layer - Convolution 연산을 할 때의 출력의 크기를 구하는 공식을 보겠습니다. 이 식을 보면 (1x1)크기로 필터링을 하면 입력데이터의 높이와 너비는 그대로 유지한 채, 채널을 감소시킬 수 있을 것입니다. - 입력데이터의 채널이 엄청나게 많다고 가정할 경우, 입력데이터에 (1x1)필터를 64개 쓴다고 하면, 입력데이터의 높이와 너비를 유지한채로 채널이 64인 데이터가.. CNN 아키텍처 정리2 - VGG 2.1 VGG 전체구조 - 다음은 VGG의 전체 구조도입니다. vgg는 오류율 7.3%인 16 또는 19계층 구조로, 14년도에 ILSVRC 대회에서 2위를 차지한 아키텍쳐 입니다.(여기에서는 VGG16을 기준으로 하겠습니다) - 아래의 그림은 각 layer의 구조를 나타낸 그림입니다. 이 그림을 보면 VGG는 AlexNet과 전체 구조는 비슷합니다. 그저 필터 크기를 (3 x 3)으로 고정하고 (3 x 3)필터를 여러번 쓴뒤 pooling 계층을 통과시켰을 뿐입니다. 그러나 필터의 크기를 낮추고 더 깊게했을 뿐인데 VGG는 AlexNet에 비해 성능이 좋아졌습니다.(그 이유는 다음절을 보겠습니다) 2.2 필터 크기와 신경망 성능 - (5 x 5) 영역에 (5 x 5)크기의 필터를 사용할 경우를 생각해보.. CNN 아키텍처 정리1 - AlexNet 1.1 ImageNet - ImageNet 이란, 1000가지의 객체의 카테고리를 가지는 데이터셋입니다. ImageNet을 사용한 객체 인식 대회인 ILSVRC가 매년 열리는데, 2012년에 AlexNet이라는 아키텍처가 나와서 객체 인식 error rate를 25%에서 16%로 크게줄였습니다. - AlexNet은 98년에 나온 LeNet의 구조와 거의 똑같지만, 그 당시의 접근법과 다르게 신경망 모델을 깊게 했고, CNN의 구조를 베이스로 하여서 12년도 ILSVRC를 우승했습니다. AlexNet 등장 이후, 그 이후에 등장하는 신경망 모델들은 AlexNet처럼 깊은 신경망 구조를 사용하기 시작했습니다. 1.2 AlexNet 전체구조 - AlexNet의 각 layer의 구조를 보면, 전체적으로는 5개의.. 이전 1 다음
