[Coursera] 2. Logistic Regression

🥑 Coursera의 "Neural Networks and Deep Learning" 강좌의 내용을 배우면서 개인적으로 정리한 내용입니다.

 

Logistic Regression 이란? 

어떤 데이터가 범주에 속할 확률을 0~1 사이의 값으로 예측하고 그 확률에 따라 가능성 높은 범주에 속하는 것으로 분류하는 지도학습 알고리즘이다.

 

 

Logistic Regression 계산

Logistic Regression은 각 속성의 값에다가 계수(coefficient)에 각 곱하고 절편(intercept)을 더해서 예측 값을 구하고 여기에 Log-odds라는 것을 구해야한다. 

Log-odds는 사건이 발생할 확률을 발생하지 하지 않을 확률로 나눈 값인 odds에 log를 취한 값이다.

# Log-Odds = log(사건이 발생할 확률 / 사건이 발생하지 않을 확률)

import numpy as np
log_odds = np.dot(features, coefficients) + intercept

 

Log-Odds 계산

 

 

앞에서 구한 Log-Odds를 Sigmoid라는 함수에 넣어서 통해서 값을 분류한다.

Sigmoid Function

# 파이썬에서 구현한 Sigmoid 함수
sigmoid(Z) = 1 / (1 + exp(-Z))

 

 

Log Loss

모델의 “적합성” 평가를 위해 각 데이터의 샘플의 손실(모델 예측이 얼마나 잘못되었는지)을 계산한 다음 그것들의 평균화 해야 한다.

 

⭐️ Logistic Regression의 목표는 Log Loss가 최소인 계수와 절편을 찾는 것이다. ⭐️

 

경사하강법(Gradient Descent)을 사용하여 모든 데이터에서 로그 손실(Log Loss)을 최소화하는 계수를 찾을 수 있다.

 

Logistic Regression 구현

Logistic Regression.ipynb