[Computer Vision] Depth

👀 본 예제는 Window10의 VSCode, Python3.11.0로 작성되었습니다.

 

깊이 정보는 이미지에서 각 픽셀이 카메라와 얼마나 떨어져 있는지를 나타낸다.

 

이 정보는 3D 재구성, 물체 인식, 자율주행차, 로봇 비전 등에서 필수적이다.

 

깊이 추정 방법은 다음과 같다.

• 스테레오 비전(Stereo Vision) : 두 개의 카메라를 서로 다른 각도에서 이미지를 촬영하고, 두 이미지 간의 차이를 분석하여 깊이를 계산.
• 깊이 센서(Depth Sensors) : LiDAR, ToF(Time-of-Flight) 카메라와 같은 센서를 사용하여 물체까지의 거리를 직접 측정한다.
• 모노큘러 깊이 추정(Monocular Depth Estimation) : 단일 카메라 이미지를 사용하여 깊이를 추정하는 방법, 딥러닝 모델을 사용하여 이미지의 패턴과 구조를 학습하고, 이를 기반으로 깊이를 예측한다.

 

Computer Vision에서의 응용

• 3D 재구성 : 깊이 정보를 활용하여 2D 이미지에서 3D 모델을 생성하는 데 사용된다.
• 물체 인식 및 추적 : 깊이 정보를 통해 물체의 위치와 형태를 보다 정확하게 인식하고 추적할 수 있다.
• 자율주행차 : 차량 주변의 환경을 이해하고 장애물 회피 및 내비게이션을 위한 중요한 요소이다.

 

Stereo Vision

두 개의 카메라를 사용하여 3D 공간에서 물체의 깊이 정보를 추정하는 기술이다.

 

이 기술은 인간의 두 눈이 깊이를 인식하는 방식과 유사하게 작동한다.

 

import numpy as np
import cv2
from matplotlib import pyplot as plt

img_left = cv2.imread("./img_left.jpg",cv2.IMREAD_GRAYSCALE)

img_right = cv2.imread("./img_right.jpg",cv2.IMREAD_GRAYSCALE)


# 스테레오 매칭 객체 생성
# numDisparities : 깊이 맵을 계산할 때 사용할 최대 시차 값을 지정, 값은 16의 배수 
# blockSize : 매칭을 오ㅟ해 사용할 블록의 크기, 이 값은 홀수여야 하며, 일반적으로 5,7,9,11 등임
stereo = cv2.StereoBM.create(numDisparities=16,blockSize=9)

# 깊이 맵 계산
disparity_map = stereo.compute(img_left, img_right)

# 서브플롯 생성
fig, axs = plt.subplots(3, 1, figsize=(10, 15))

# 원본 이미지 (왼쪽)
axs[0].imshow(img_left, cmap='gray')
axs[0].set_title("Left Image")
axs[0].axis("off")

# 원본 이미지 (오른쪽)
axs[1].imshow(img_right, cmap='gray')
axs[1].set_title("Right Image")
axs[1].axis("off")

# 깊이 맵
axs[2].imshow(disparity_map, cmap='gray')
axs[2].set_title("Depth Map")
axs[2].axis("off")

# 결과 출력
plt.tight_layout()
plt.show()

 

 

Depth Sensors

물체와 센서 간의 거리를 측정하여 3D 공간에서의 깊이 정보를 제공하는 장치이다.

이러한 센서는 다양한 기술을 기반으로 하며, 여러 분야에서 활용된다.

종류로는 LiDAR, ToF, 스테레오 카메라, 구조광 센서 등

 

 

Monocular Depth Estimation

단일 카메라 이미지를 사용하여 3D 공간에서 깊이 정보를 추정하는 기술이다.

 

이는 스테레오 비전과 달리 별도의 깊이 센서나 두 개의 이미지를 필요로 하지 않고, 주로 딥러닝 모델을 통해 수행된다.

대표적으로 Depth-Anything이 있다.

GitHub - DepthAnything/Depth-Anything-V2: Depth Anything V2. A More Capable Foundation Model for Monocular Depth Estimation

Demo

Depth Anything V2 - a Hugging Face Space by depth-anything