[Coursera] 8. Softmax

🥑 Coursera의 "Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and
Optimization" 강좌의 내용을 배우면서 개인적으로 정리한 내용입니다.

 

Softmax는 주어진 벡터를 다른 벡터로 변환하는 함수로, 일반적으로 다중 클래스 분류 문제에서 출력 확률 형태로 표현하기 위해 사용된다.

 

입력 벡터의 각 요소를 0 ~ 1 사이의 값으로 변환하며, 모든 요소의 합이 1이 되도록 정규화 한다.

 

계산 방법

• 지수 함수를 사용하여 입력 값을 확률 값으로 변환 한다.
• 입력 벡터 x에 대해 출력 y는 다음 과같이 계산

(yi는 출력 벡터의 i번째 요소, xi는 입력 벡터의 i번째 요소, N은 벡터의 차원 수)

 

예시

Input vector -> x = [2,4,1,3]

1. 각 요소를 지수 함수로 변환

• e2 ≈ 7.3891
• e4 ≈ 54.5982
• e1 ≈ 2.7183
• e3 ≈ 20.0855

 

2. 변환 된 값들의 총합 계산

• total ≈ 8.3891 + 54.5982 + 2.7183 + 20.0855 ≈ 84.7911

 

3. 각 값을 합계로 나누어 Softmax 값을 계산

• y1 = 7.3891 / 84.7911 ≈ 0.087
• y2 = 54.5982 / 84.7911 ≈ 0.644
• y3 = 2.7183 / 84.7911 ≈ 0.032
• y4 = 20.0855 / 84.7911 ≈ 0.237
• y1 + y2 + y3 + y4 = 1

 

Logstic Regression에서 사용시 이진 분류이므로 출력이 2개로 고정되어 사용된다.

 

Deep Learning에서는 출력 단위가 클래스의 개수와 동일하다.(Logstic Regression을 일반화 한 것이라 생각 할 수 있다.)

 

Softmax 함수는 Cross-entropy-loss 함수(실제 값과 예측된 확률의 차이를 계산하여 모델을 학습하는 데 사용)와 연결되어 사용된다.

 

Softmax.ipynb