[Tensorflow] 전이학습(Transfer Learning)

전이 학습이란?

Deep Learning 중 한 방법으로, 한 작업에서 학습한 모델을 다른 관련 작업에 활용하는 것을 말한다.

전이 학습은 새로운 작업에 대해 충분한 데이터가 없거나 학습에 많은 시간과 컴퓨팅 자원이 필요한 경우에 특히 유용하다.

 

첫 번째 방법 - 사전 학습된 모델을 사용하여 특징 추출 후, 그 특징을 다른 모델에서 사용.

• ex. Computer Vision에서 대규모 이미지 데이터셋의 특징 추출하고 이 특징을 새로운 훈련에 적용하여 학습.
• 새로운 훈련에 대해 더 적은 데이터로도 좋은 성능을 얻을 수 있음.

 

 

두번째 방법 - 사전 학습된 모델을 fine-tuning 하는 방법.

• 사전 학습된 모델의 일부 층을 고정한 채로 새로운 작업에 맞게 일부 층을 재학습시키는 것.
• 새로운 작업에 대한 특성을 더 잘 반영할 수 있도록 모델을 조정할 수 있음.
• 초기 가중치를 사용하여 빠르게 수렴하고 좋은 성능을 얻을 수 있음.

 

전이 학습 방법은 다양한 모델과 기법이 존재하고, 적절한 전이 학습 방법을 선택하는 것은 문제에 따라 다를 수 있다.

• 데이터의 양, 품질
• 작업의 유사성
• 모델의 특성 등

 

Transfer Learning.ipynb