[Coursera] 1. Neural Network

🥑 Coursera의 "Neural Networks and Deep Learning" 강좌의 내용을 배우면서 개인적으로 정리한 내용입니다.

 

Neural Network 예시

 

 

기본적인 Neural Network는 다음과 같은 요소로 구성된다.

 

입력층(Input Layer)

• 신경망에 데이터를 입력하는 부분이다.
• 입력층에 들어가는 데이터들을 일반적으로 x로 표기하여 사용한다.
• 예를 들어, 이미지 데이터의 경우 각 픽셀 값을 입력으로 사용할 수 있다.

 

은닉층(Hidden Layer)

• 은닉층은 여러개가 있을 수 있다.
• 각 은닉층은 여러 뉴런으로 구성되어 있으며, 입력층에서 들어온 데이터를 변형하고 특징을 추출하는 역할을 한다.
• 각 은닉층의 뉴런은 이전 층의 뉴런과 연결되어 가중치와 활성화 함수에 의해 값을 전달받습니다.

 

가중치(Weight)

• 각 연결의 가중치는 해당 연결의 중요도를 나타낸다.
• 학습 과정에서 조정되어 데이터 패턴을 학습한다.

 

활성화 함수(Activate Function)

• 은닉층과 출력층의 뉴런은 활성화 함수를 통해 입력을 출력으로 변환한다. 
• 주로 비선형 함수를 사용하여 네트워크가 복잡한 패턴을 학습할 수 있게 한다.

 

출력층(Output Layer)

• 네트워크의 최종 출력을 내보내는 부분이다.
• 출력층에서 나오는 데이터를 일반적으로 y로 표기하여 사용한다.
• 예를 들어, 이미지가 어떤 클래스에 속하는지 판별하는 작업의 경우, 각 클래스에 대한 확률값을 출력할 수 있다.

 

 

🐶 모든 Input Layer는 모든 Hidden Layer와 상호 연결되어 있다.

 

 

Neural Network Examples

 

인공신경망의 예시는 이렇게 3가지로 나눌 수 있다.

 

Standard NN의 예시

Input(x)	Output(y)	예시 서비스
Home features	Price	Real Estate
Ad, user info	Click on ad(0/1)	Online Advertising

 

CNN(Convolutional NN)의 예시

Input(x)	Output(y)	예시 서비스
Image	Object(1,....,1000)	Photo tagging

 

RNN(Recurrent NN)의 예시

Input(x)	Output(y)	예시 서비스
English	Korean	Machine Translation

 

Custom NN의 예시

Input(x)	Output(y)	예시 서비스
Image, Radar info	Postion of other cars	Autonomous driving

 

 

 

Data Type

Structured Data(구조적 데이터, 정형 데이터)

• 구조화되어 테이블, 스프레드시트 등의 형태로 나타낼 수 있는 데이터를 말하고 이러한 데이터는 고정된 형식을 가지며, 각 열(column)이 특정 데이터 유형을 가지고 있다.
• 대표적으로 DB 테이블이 있다.

 

Unstructured Data(비구조적 데이터, 비정형 데이터)

• 구조화되어 있지 않고, 특정한 형태나 규칙을 가지지 않는 데이터이다.
• 예시로 오디오, 이미지, Text등이 있다.

 

 

Scale dirves Deep Learning Progress

 

데이터의 스케일에 따라서 적절한 신경망 모델을 적용해야 비용적인면이나 모델의 퍼모먼스적인 부분에서 이득을 볼 수 있다.

 

과거에도 Deep Learning의 개념이 있었으나 하드웨어적인 부분이 발전되지 않아서 모델 학습, 결과 출력이 오래 걸려 상용화할 수 없었다.

현재는 GPU 같은 고성능 하드웨어와 ReLU와 같은 알고리즘을 통해 모델의 학습 시간과, 결과 출력의 시간 문제를 해결 하였다.