optimization (2) 썸네일형 리스트형 [Coursera] 7. Hyperparameter tuning, Batch Normalization 🥑 Coursera의 "Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization" 강좌의 내용을 배우면서 개인적으로 정리한 내용입니다. Hyperparameter Tuning 하이퍼파라미터는 파라미터와 구분하여 사용자가 딥러닝을 위해 설정하는 값들을 모두 지칭한다. 하이퍼파라미터는 다양하게 존재하지만 중요성은 다르다고 할 수 있다. Adam의 B1, B2, e은 거의 변경하지 않고 기본값을 사용한다.(거의 중요하지 않음...) hidden units, mini-batch size 등은 데이터 크기와 종류에 따라 설정해야한다.(중요!) 이런 하이퍼파라미터 값은 튜닝하려고 할 때, 하이퍼파라미터는 어떻게 설정해.. [Pytorch] 모델 매개변수 최적화하기 파이토치 한국사용자 모임의 글을 보면서 공부한 내용을 정리한 글입니다. 전전 포스트에서 우리는 모델의 Layer를 설정했었다. 이제 모델과 데이터가 준비되었으니 데이터에 매개변수를 최적화하여 모델을 학습, 검증, 테스트 할 차례이다. 모델 학습은 반복적이며 각 반복 단계에서 모델은 출력을 추측하고, 손실(Loss)를 계산하고, 매개변수에 대한 오류의 도함수(derivative)를 수집한 뒤, Gradient Descent를 사용하여 파라미터들을 Optimize 한다. Optimize 과정 이제 코드를 보면서 알아보자. 데이터를 로드하고 기본 NN 모델을 만든다. import torch from torch import nn from torch.utils.data import DataLoader from t.. 이전 1 다음
