Xavier initialization (1) 썸네일형 리스트형 [Coursera] 5. Optimization Problem 🥑 Coursera의 "Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization" 강좌의 내용을 배우면서 개인적으로 정리한 내용입니다. Normalizing Inputs 학습 속도를 높일 수 있는 방법 중 하나는 Input을 Normalization하는 것이다. 왜 Normalize를 할까? Normalize된 J 그래프와 되지 않은 J그래프를 살펴보자. Normalize 되지 않은 J그래프는 J을 업데이트할 때 많은 단계를 거쳐야 한다. 그러나 Normalize된 J 그래프를 보면 대칭적인 형상을 띄기 때문에 J를 업데이트할 때 비교적 적은 단계를 거친다. 이 두 그래프의 contour(윤곽) 그래프를 그.. 이전 1 다음
