fine-tuning (2) 썸네일형 리스트형 [Computer Vision] DreamBooth 🌈 https://dreambooth.github.io/ 내용을 기반으로 작성된 포스트 입니다... 개요 대규모 T2I 모델은 주어진 텍스트 프롬프트에서 고품질의 다양한 이미지를 합성할 수 있게 함으로써 AI 발전에 괄목할 만한 도약을 이루었다. 그러나 주어진 참조 이미지 세트의 피사체의 모습을 모방하고 다양한 맥락에서 새로운 표현을 합성하는 기능이 부족하다. DreamBooth에서는 T2I 확산 모델의 "개인화"를 위한 새로운 접근 방식을 제시한다. 피사체 이미지 몇 장만(3~5장) 입력하므로써 사전 학습된 T2I 모델을 미세 조정하여 특정 피사체에 고유 식별자를 결합하는 방법을 학습하도록 한다. 고유 식별자를 사용하여 다양한 장면에서 맥락에 맞는 피사체의 완전히 새로운 사실적인 이미지를 합성할 수 있.. [Computer Vision] LoRA(Low-Rank Adaptation) 개요 기존 T2I에서 프롬프트를 통해 "특정 캐릭터의 일러스트" 이미지를 생성하려고 하는 경우. 일반적으로 프롬프트에서 목표 캐릭터의 특징을 나타내는 키워드를 포함하여 해당 캐릭터에 일러스트가 나올때까지 생성을 반복하는 과정이 필요하다. 하지만 이 방법에는 단점이 존재한다. 모델 학습에 포함되지 않은 것 같은 마이너한 캐릭터는 아무리 시도해도 비슷한 수준의 이미지만 생성된다. 목표 캐릭터가 유명 캐릭터일 경우라도 다른 캐릭터가 생성되는 경우가 있다. 목표 캐릭터 이미지를 생성하기 위해 나올 때까지 몇번이든 반복해야한다. 이러한 문제를 해결하기 위해 "기존 모델을 한 캐릭터가 나오도록 조정"하는 Fine-Tuning 필요성이 대두 되었고 "LoRA"가 나오게 되었다. LoRA LoRA(Low-Rank Ad.. 이전 1 다음
