[Coursera] 5. Optimization Problem

🥑 Coursera의 "Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and
Optimization" 강좌의 내용을 배우면서 개인적으로 정리한 내용입니다.

 

Normalizing Inputs

학습 속도를 높일 수 있는 방법 중 하나는 Input을 Normalization하는 것이다.

 

왜 Normalize를 할까?

 

Normalize된 J 그래프와 되지 않은 J그래프를 살펴보자.

Normalize 되지 않은 J그래프는 J을 업데이트할 때 많은 단계를 거쳐야 한다. 그러나 Normalize된 J 그래프를 보면 대칭적인 형상을 띄기 때문에 J를 업데이트할 때 비교적 적은 단계를 거친다. 

 

이 두 그래프의 contour(윤곽) 그래프를 그리고 J을 업데이트하는 과정을 살펴보자.

Normalize 되지 않은 그래프를 보면 Learning Rate를 아주 작게 줘야하는 것을 볼 수 있다. 왜냐하면 크게 줄경우 Global Optima에 도달할 때 까지 계속 왔다갔다 할 수 있기 때문이다. 이 경우는 학습이 오래걸린다.

반면에 Normalize된 그래프를 보면 Learning Rate를 크게주고 학습을 몇번 진행하지 않아도 Global Optima에 도달하는 것을 볼 수 있다.

 

실제로는 W가 고차원의 matrix이기 때문에 위의 그림처럼 완벽한 구형을 만들 수 없으나, 더 구형이고 feature를 유사한 scale로 맞춰서 학습 시간을 줄인다.

 

 

Vanishing / Exploding Gradients

DNN 학습 시, 가장 큰 문제점은 Gradient가 매우 작아지거나 증가하는 경우이다. 

• 신경망의 미분항이나 기울기가 매우 커지거나 작아지는것을 의미
• 학습이 매우 까다로움

 

1. unit의 수는 작지만, 매우 Deep한 NN의 경우를 살펴보자.(activation function은 g(z) = z로 linear하며, 파라미터 b=0으로 무시)

 

이 때 어떤 unit에서의 W인 W[L]이 1.5이라고 가정하면 y hat은 1.5^L 로 기하급수적으로 증가할 것이다. 반대로 1보다 작은 값인 0.5라면 0.5^L로 매우 작은 값이 될 것이다. 

 

위에서는 결과값을 예시로 들고 있지만 기울기값에도 똑같이 적용할 수 있다. 기울기도 기하급수적으로 증가하거나 감소한다. 이 경우에는 학습이 매우 어렵다. 특히 기울기가 매우 작은경우 Gradient Descent에 많은 시간이 걸리기 때문에 학습이 오래걸린다.

 

 

이 문제를 해결하기 위해 완전하지는 않지만 random 초기화를 잘하면 어느 정도 문제를 해결할 수 있다.

 

어느 Layer에서 Input Feature가 n개일 때

z(= w * input feature + b, 활성화 함수의 입력)는 a(활성화 함수를 통과한 결과) = Active func(z)와 같이 나타낼 수 있는데, 이 때는 적절한 z값을 찾기 위해 n이 많을 수록, w는 작아져야 한다.

 

w[i]를 1/n으로 두는 것이다.(Xavier Initialization)

# Xavier initialization
# n[l-1] : 이전 레이어의 입력 feature의 수
# shape : 가중치 행렬의 크기
W[l] = np.random.randn(shape) * np.sqrt(1/(n[l-1]))

"""
활성화 함수에 따른 수정
ReLU : W[l] = np.random.randn(shape) * np.sqrt(2/n[l-1])
tanh : W[l] = np.random.randn(shape) * np.sqrt(1/n[l-1]) # Xavier 초기화
Yousha Benigo 연구진들이 연구한 방법 : W[l] = np.random.randn(shape) * np.sqrt(2/(n[l-1]+n[l]))
"""

 

 

 

2. 엄청 Deep한 신경망의 경우에는 Backpropagation 과정에서 출력층에서 멀어질 수록 Gradient 값이 작아져 학습이 잘되지 않는다.

 

이 경우의 원인은 활성화 함수의 기울기와 관련이 있다.

 

먼저 sigmoid 함수를 확인해보면 

미분값은 x이 크고 작아짐에 따라 0에 수렴하는데 Backpropagation 과정에서 Sigmoid의 미분값이 거듭 곱해지기 때문에 신경망이 Deep해질 수록 Gradient 값이 매우 작아질 수 밖에 없다.

 

그리고 계산 과정에서 컴퓨터는 정확한 값이 아니라 근사값으로 계산되기 때문에 학습 오차도 증가한다.

 

sigmoid 함수를 이용하면 모델 학습이 제대로 이루어지지 않는다.

 

 

다음은 tanh 함수이다.

sigmoid의 한계를 개선하기 위해 제안되었다.

0을 기준으로 최대 1, 최소 -1 사이의 값을 갖도록 출력값의 범위를 2배(sigmoid는 -0.5 ~ 0.5) 늘렸다.

 

하지만 결국 tanh도 x값이 크거나 작아질 수록 0으로 수렴하기 때문에 신경망이 Deep해질 수록 Gradient 값이 매우 작아지는 것은 피할 수 없었다. 

 

 

이 문제들을 해결하기 위해 제안된 것이 ReLU 함수 이다.

입력값이 양수일경우 항상 미분값은 1이다. 그리고 특별한 연산이 필요 없어 단순히 임계값에 따라 출력값이 결정되기 때문에 연산속도도 빠르다. 

 

하지만 입력값이 음수일 경우 미분값이 항상 0이기 때문에 입력값이 음수인 뉴런은 회생 시킬 수 없다는 문제가 있다. 

이러한 무제를 Dying ReLU(죽어가는 ReLU)라고 부른다.

 

Dying ReLU를 해결하기 위해 Leaky ReLU가 제안되었다.

 

입력값이 음수일 때 출력값을 0이 아닌 0.001과 같은 매우 작은 값을 출력하도록 설정한다. 

max(ax,x)

 

 

a는 파라미터로 0.01, 0.001 같은 작은 값이 사용된다.

a는 0이 아닌 값이기 때문에 음수라도 기울기가 0이 되지 않아 뉴런이 죽는 현상을 방지 할 수 있다.

 

 

Gradient Checking

Backpropagation을 사용하는 경우 Gradient Checking이라는 테스트를 통해 BP의 과정이 올바른지 확인할 수 있다.

 

먼저 산술적으로 어떤 그래프에서 f(θ)의 기울기를 구하는 공식에 대해 알아야 한다.

θ = 1 이고 ϵ = 0.01으로 둔다.

이 때 1~1.01 사이의 기울기를 구하는 것보다 0.99 ~ 1.01 사이의 구하는 것이 근사치가 더 잘나온다.

값을 구하면 3.0001이 나온다. f의 미분은 f'(θ) = 3θ^2으로 1에서의 미분값은 3이기 때문에 오차는 0.0001이다.

반면 1~1.01로 구하게 되면 3.0301으로, 오차가 0.0301의 오차를 갖게 된다.

 

 

이제 Gradient Checking 적용 과정을 살펴보자.

1. 모든 파라미터를 벡터로 변환 후에 연결시켜서 big vector로 만들어준다.
2. dW, db를 dθ로 만들어서 J(θ)의 기울기와 비교한다.

 

Gradient Checking 사용시 주의해야할 점

• 모든 i에 대하여 기울기의 근사치를 구하는 것은 매우 오래 걸리므로 디버깅시에만 사용
• 알고리즘이 Gradient check에 실패하면, 값이 크게 다른 i를 찾아서 어느 layer에서 버그 발생했는지 찾을 수 있다.
• Regularization 항이 있다면 dθ에도 추가해야 한다.
• dropout은 unit을 임의로 제거하기 때문에 GC가 동작하지 않는다.
• 파라미터가 0에 가까울 때 GD가 잘 동작할 수도 있다.

 

Normalization.ipynb