[Computer Vision] DreamBooth

🌈 https://dreambooth.github.io/ 내용을 기반으로 작성된 포스트 입니다...

 

개요

대규모 T2I 모델은 주어진 텍스트 프롬프트에서 고품질의 다양한 이미지를 합성할 수 있게 함으로써 AI 발전에 괄목할 만한 도약을 이루었다. 그러나 주어진 참조 이미지 세트의 피사체의 모습을 모방하고 다양한 맥락에서 새로운 표현을 합성하는 기능이 부족하다.

 

DreamBooth에서는 T2I 확산 모델의 "개인화"를 위한 새로운 접근 방식을 제시한다.

피사체 이미지 몇 장만(3~5장) 입력하므로써 사전 학습된 T2I 모델을 미세 조정하여 특정 피사체에 고유 식별자를 결합하는 방법을 학습하도록 한다. 

고유 식별자를 사용하여 다양한 장면에서 맥락에 맞는 피사체의 완전히 새로운 사실적인 이미지를 합성할 수 있다.

새로운 자생적 클래스별 사전 보존 손실과 함께 모델에 내장된 시맨틱 사전을 활용하면 참조 이미지에 나타나지 않은 "다양한 장면, 포즈, 시야 및 조명 조건"에서 피사체를 합성할 수 있다.

 

DreamBooth는 "피사체의 주요 특징을 보존"하면서 피사체 재맥락화, 텍스트 가이드 뷰 합성, 외관 수정, 예술적 렌더링 등 이전에 불가능했던 여러 작업에 적용된다.

 

 

배경

출처 : https://dreambooth.github.io/

 

시계(Input Images 그림)와 같은 특정 피사체가 주어지면 최첨단 T2I 모델을 사용하여 다양한 컨텍스트에서 주요 시각적 특징을 정확하게 유지하면서 생성하는 것은 매우 어려운 작업이다.

 

시계의 외관에 대한 자세한 설명이 포함된 텍스트 프롬프트(ex. "retro style yellow alarm clock with a white clock face and a yellow number three on the right part of the clock face in the jungle")를 수십 번 반복해도 이미지 모델은 주요 시각적 특징(Text-guided, Imagen)을 재구성 하지 못한다. 

또한, 텍스트 임베딩이 공유 언어-시각 공간에 위치하여 이미지의 의미적 변형을 생성할 수 있는 모델(ex. DALL-E2 등)도 주어진 피사체의 모양을 재구성하거나 문맥을 수정할 수 없다(Image-guided, DALL-E2).

 

반면, DreamBooth의 접근 방식(Ours)은 새로운 맥락에서 높은 정확도로 시계를 합성할 수 있다(" a [V] clock in the jungle").

 

 

접근법

출처 : https://dreambooth.github.io/

 

피사체 "예시 : 특정 개"와 해당 클래스 이름 "예시 : dog"의 이미지 몇 장(3 ~ 5장)을 입력으로 받아 피사체를 나타내는 고유 식별자를 인코딩하는 fine-tuning 된 "개인화 T2I 모델"을 반환한다.

그 후 모델을 사용하여 추론 시 고유 식별자(a [V] dog)를 다른 문장에 이식하여 다양한 문맥에서 주체를 합성할 수 있다.

 

출처 : https://dreambooth.github.io/

 

피사체에 대한 3~5개의 이미지가 주어지면 두 단계로 T2I 확산을 fine-tuning 한다.

1. 고유 식별자와 피사체가 속한 클래스 이름(예: "a photo of a [T] dog ")이 포함된 텍스트 프롬프트와 짝을 이룬 입력 이미지로 저해상도 T2I 모델을 fine-tuning하는 동시에, 모델이 클래스에 대해 가지고 있는 의미적 사전을 활용하여 클래스별 사전 보존 손실(Class-Specific Prior Preservation Loss)을 적용하고 텍스트 프롬프트에 클래스 이름을 주입하여(예: "A photo of a dog") 피사체의 클래스에 속한 다양한 사례를 생성하도록 장려하는 클래스별 사전 보존 손실(Class-Specific Prior Preservation Loss)을 병행하여 fine-tuning 한다.
2. 입력 이미지 세트에서 가져온 저해상도 및 고해상도 이미지 쌍으로 초고해상도 구성 요소를 미세 조정하여 피사체의 작은 디테일까지 높은 충실도를 유지할 수 있도록 한다.

 

 

결과물 - Image Re-Contextualization(이미지 재맥락)

각 이미지 아래 "컨디셔닝 프롬프트"가 표시된다.

출처 : https://dreambooth.github.io/

 

 

결과물 - Art Rendition(아트 렌더링)

출처 : https://dreambooth.github.io/

 

유명 화가의 스타일로 피사체 개를 예술적으로 표현했다. 

트레이닝 세트에서 볼 수 없었던 포즈가 많이 생성되 었다. 

화가의 스타일을 충실히 모방한것 처럼 보이고, 일종의 창의성(이전 지식을 바탕으로 한 추정)을 암시하기도 한다.

 

 

결과물 - Text-Guided View Synthesis(텍스트 안내 합성)

출처 : https://dreambooth.github.io/

 

피사체의 포즈도 변경해서 생성할 수 있다. 입력의 피사체의 기본 형태(고양이의 이마의 패턴 보존)가 유지된다.

 

 

결과물 - Property Modification(속성 수정)

출처 : https://dreambooth.github.io/

 

첫번째, 자동차 그림을 보면 'a [color] [V] car'를 사용하여 색상 수정했다.

두번째, 개 그림을 보면 'A cross of a [V] dog and a [target species]'라는 프롬프트를 사용하여 특정 개와 다른 동물 사이의 합성을 보여준다.

피사체의 정체성이나 본질을 나타내는 고유한 시각적 특징을 보존한다.

 

 

결과물 - Accessorization(액세서리)

출처 : https://dreambooth.github.io/

 

피사체 본질은 유지하면서 'a [V] dog wearing a police/chef/witch outfit' 프롬프트를 통해 다양한 의상이나 액세서리를 개에게 적용할 수 있다. 

 

 

 

DreamBooth 논문

DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation