regularization (2) 썸네일형 리스트형 [Coursera] 7. Hyperparameter tuning, Batch Normalization 🥑 Coursera의 "Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization" 강좌의 내용을 배우면서 개인적으로 정리한 내용입니다. Hyperparameter Tuning 하이퍼파라미터는 파라미터와 구분하여 사용자가 딥러닝을 위해 설정하는 값들을 모두 지칭한다. 하이퍼파라미터는 다양하게 존재하지만 중요성은 다르다고 할 수 있다. Adam의 B1, B2, e은 거의 변경하지 않고 기본값을 사용한다.(거의 중요하지 않음...) hidden units, mini-batch size 등은 데이터 크기와 종류에 따라 설정해야한다.(중요!) 이런 하이퍼파라미터 값은 튜닝하려고 할 때, 하이퍼파라미터는 어떻게 설정해.. [Coursera] 4. Practical Aspects of Deep Learning 🥑 Coursera의 "Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization" 강좌의 내용을 배우면서 개인적으로 정리한 내용입니다. Train/Dev/Test 처음 딥러닝 모델을 구현할 때 한번에 적절한 하이퍼 파라미터 값을 찾는 것은 거의 불가능하다. 그래서 반복적인 과정을 통해 값을 수정하며 적절한 하이퍼 파라미터 값을 찾아야한다. 이 반복 과정에서 가장 중요한것은 반복 과정을 얼마나 효율적으로 하느냐이다. 우리는 Data를 Train/Dev/Test Set 총 3개의 그룹으로 분리하고 적절히 설정하면 효율적으로 수행할 수 있다. Training Set 학습 알고리즘을 계속 수행한다. Dev or C.. 이전 1 다음
