[Computer Vision] Inpainting

개요

Inpainting 기술은 디지털 이미지 처리 기술의 일종으로, 손상된 이미지 영역을 복원하거나 삭제된 부분을 채워주는 기술이다.

출처 : https://www.aitimes.kr/news/articleView.html?idxno=17686

 

Inpainting은 Computer Vision, Computer Graphics, 디지털 사진 보정, 영화 제작 등 다양한 분야에서 활용된다.

 

 

장단점

주요 장점으로는 손상된 이미지를 복원하거나 삭제된 부분을 채워주어 이미지의 완성도를 높힐 수 있다는 점이다.

그리고 기존의 이미지를 보완하는 데에도 사용할 수 있다.

 

단점으로는 보통 지역적인 정보를 이용하여 이미지를 복원하기 떄문에, 전체적인 이미지의 의미나 논리적인 일관성을 고려하지 않을 수 있다. 그리고 새로운 정보가 추가될 수 있어, 이미지의 진실성을 해치는 경우도 있다.

 

 

사례

대표적인 사례로는 Adobe Photoshop에서 제공하는 Content-Aware Fill 기능이 있다.

• 이미지의 일부분을 선택하면 해당 부분을 인페이팅을 통해 자연스러운 이미지로 복원해준다.

 

이것 이외에도 영화 제작 중 특수 효과나 디지털 컨티뉴어(Digital Continuity) 작업, 특정 장면에서 배경이 바뀌는 효과, 의료 이미지에서 손상된 부분, CCTV 영상에서 피사체를 인식하는 작업에서 가려진 일부분을 복원하는 경우, 오래된 그림 복원등이 있다.

 

 

여담

최근에는 딥러닝 기술을 적용해 보다 정교한 Inpainting 결과를 얻는 연구도 진행 중이다.

• 딥러닝을 이용하면 이미지의 전체적인 의미나 일관성을 고려하여 자연스러운 결과를 얻을 수 있다.
• 딥러닝을 이용하면 이미지 내에 있는 다양한 객체와 배경 등의 요소를 고려하여 결과를 생성할 수 있다.

 

 

이러한 Inpainting을 사용하여 악의적인 목적으로 이미지, 영상을 조작할 수 있기 때문에 주의 해야 한다.

 

그리고 Inpainting 작업은 시간과 비용면에서도 비교적 큰 부담이 될 수 있다.

• 대량의 이미지 데이터, 전문 기술 장비, 인력 등