[Computer Vision] 지역 특징점 검출과 매칭

👀 본 예제는 Window10의 VSCode, Python3.11.0로 작성되었습니다.

 

해리스 코너 검출(Harris Corner Detection)

해리스 코너 검출은 이미지에서 코너를 검출하는 기법으로, 주로 특징점 검출에 사용된다.

import cv2
import numpy as np

image = cv2.imread("window.jpg")

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
gray = np.float32(gray)

# 해리스 코너 검출
dst = cv2.cornerHarris(gray, blockSize=2, ksize=3, k=0.04)

# 결과 이미지를 복사하여 코너 표시
image[dst > 0.01 * dst.max()] = [0, 0, 255]  # 코너 부분을 빨간색으로 표시

cv2.imshow("Harris",image)
cv2.waitKey(0)
cv2.destroyAllWindows()

 

 

FAST 코너 검출

FAST(Features from Accelerated Segment Test) 코너 검출 알고리즘은 빠르고 효율적인 특징점 검출 기법이다.

 

Features from accelerated segment test - Wikipedia

import cv2
import numpy as np

image = cv2.imread("window.jpg")

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# FAST 코너 검출기 초기화
fast = cv2.FastFeatureDetector_create()

# 코너 검출
keypoints = fast.detect(gray, None)

# 검출된 키포인트를 이미지에 표시
image_with_keypoints = cv2.drawKeypoints(image, keypoints, None, (0, 255, 0), cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)

cv2.imshow("FAST",image_with_keypoints)
cv2.waitKey(0)
cv2.destroyAllWindows()

 

 

크기 불변 특징점 검출 - SIFT

이전 알고리즘을 통한 코너는 영상이 회전 되어도 여전히 코너로 검출된다. 코너는 회전 불변 특징점이라고 할 수 있다.

 

그러나 영상의 크기가 변경될 경우 더이상 코너로 검출되지 않을 수 있다.

 

크기가 변해도 지속적으로 코너를 검출하는 알고리즘이 연구 되었다.

그 중 가장 대표적 알고리즘이 SIFT로 Scale Invariant Feature Transform의 약자이다.

 

SIFT는 이미지의 다양한 스케일에서 특징점을 검출하기 위해 Gaussian Blur를 사용하여 여로 스케일의 이미지를 생성한다. 이를 통해 이미지의 다양한 크기에서 특징점을 탐지할 수 있다.

 

각 스케일에서 DoG(Difference of Gaussian) 방법을 사용하여 극대값(최대값)과 극소값(최소값)을 찾아 특징점을 검출한다. 이 단계에서 검출된 포인트는 잠재적인 특징점으로 간주된다.

 

검출된 특징점의 위치를 정밀하게 조정하고 각 특징점에 대해 주 방향을 설정하여 회전 불변성을 부여한다.

이 방향은 주변 픽셀의 기울기를 기반으로 계산된다.

 

각 특징점의 주변 픽셀 정보를 기반으로 설명자를 생성한다.

일반적으로 16x16 픽셀 영역을 4x4 그리드로 나누고, 각 그리드의 방향 히스토그램을 계산하여 특징을 표현한다.

이 설명자는 고유한 특징점의 "지문"역할을 하고 비교 매칭에 사용된다.

 

다른 이미지에서 검출된 SIFT 특징점과 설명자를 비교하여 매칭한다. 주로 유클리드 거리 또는 유사도 기반으로 매칭을 수행한다.

 

크기 불변 특징점 검출 - SURF

SIFT는 계산 비용이 높다. 이를 개선되어 나온 알고리즘이 SURF(Speeded Up Robust Features)이다.

 

SURF는 Gaussian 필터 대신 Haar 웨이브랫을 사용하여 스케일 공간을 생성한다.

이를 통해 속도가 향상된다.

 

이후 이미지의 각 스케일에서 Hessian 행렬을 사용하여 특징점을 검출한다.

 

특징점에 대해 주방향을 계산하여 회전 불변성을 제공한다.

SIFT와 동일하게 방향은 주변 픽셀의 기울기를 기반으로 계산된다.

 

SURF의 설명자 생성은 64차원 또는 128차원의 설명자를 생성한다.

특징점 주변의 Haar 웨이브렛 응답을 기반으로 방향 히스토그램을 계산하여 특징점을 표현한다.

 

SIFT에서와 같이 다른 이미지에서 검출된 특징점과 비교하여 매칭한다. 유클리드 거리 또는 유사도 기반 메트릭을 사용한다.

 

크기 불변 특징점 검출 - ORB

ORB(Oriented FAST and Rotated BRIEF)는 SIFT와 SURF의 복잡한 연산을 해결하기 위해 대안으로 제안된 특징점 검출 알고리즘이다.

 

ORB는 FAST 알고리즘을 사용하여 특징점을 빠르게 검출하며 이는 실시간 응용에 적합한 속도를 제공한다.

 

주방향 계산을 통한 회전 불변성 제공은 SIFT, SURF와 동일하다.

 

BRIEF(Binary Robust Invariant Scalable Keypoints) 설명자를 사용하여 특징을 표현한다. 

BRIEF는 이진 설명자로, 빠른 매칭이 가능하도록 설계되었다.

ORB는 BRIEF를 회전 가능하게 만들어, 설명자가 회전에 강하게 된다.

 

ORB의 특징점은 다른 이미지의 특징점과 이진 설명자를 비교하여 매칭되고 일반적으로 해밍 거리(Hamming Distance)를 사용하여 매칭의 유사성을 계산한다.

import cv2
import numpy as np

# 이미지 읽기
image = cv2.imread("window.jpg")

# ORB 객체 생성
orb = cv2.ORB_create()

# 키 포인트 및 설명자 검출
keypoints, descriptors = orb.detectAndCompute(image, None)

# 키 포인트를 이미지에 그리기
image_with_keypoints = image.copy()

# 랜덤 색상으로 키 포인트 그리기
for kp in keypoints:
    # 랜덤 색상 생성 (BGR 형식)
    random_color = np.random.randint(0, 256, size=3).tolist()
    # 키 포인트 위치와 크기에 따라 원 그리기
    cv2.circle(image_with_keypoints, (int(kp.pt[0]), int(kp.pt[1])), int(kp.size / 2), random_color, 1)

# 결과 이미지 표시
cv2.imshow('Keypoints with Random Colors', image_with_keypoints)
cv2.waitKey(0)
cv2.destroyAllWindows()

 

 

 

Homography

키포인트 매칭을 하고 호모그래피를 계산하여 객체 검출을 할 수 있다.

호모그래피(Homography)는 3차원 공간상의 평면을 서로 다른 시점에서 바라봤을 때 획득되는 영상 사이의 관계를 나타내는 용어이다.

 

import cv2
import sys
import numpy as np

# 이미지 읽기
src1 = cv2.imread('cat_head.png', cv2.IMREAD_GRAYSCALE)
src1 = cv2.resize(src1,(int(src1.shape[1]//2),int(src1.shape[0]//2)),interpolation=cv2.INTER_LANCZOS4)
src2 = cv2.imread('cat.png', cv2.IMREAD_GRAYSCALE)
src2 = cv2.resize(src2,(int(src2.shape[1]//2),int(src2.shape[0]//2)),interpolation=cv2.INTER_LANCZOS4)

if src1 is None or src2 is None:
    print('Image load failed!')
    sys.exit()

# 특징점 알고리즘 객체 생성 (KAZE, AKAZE, ORB 등)
feature = cv2.KAZE_create()  # 기본값인 L2놈 이용
# feature = cv2.AKAZE_create()
# feature = cv2.ORB_create()

# 특징점 검출 및 기술자 계산
kp1, desc1 = feature.detectAndCompute(src1, None)
kp2, desc2 = feature.detectAndCompute(src2, None)

# 특징점 매칭
matcher = cv2.BFMatcher_create()
matches = matcher.match(desc1, desc2)

# 좋은 매칭 결과 선별
matches = sorted(matches, key=lambda x: x.distance)
good_matches = matches[:80]

print('# of kp1:', len(kp1))
print('# of kp2:', len(kp2))
print('# of matches:', len(matches))
print('# of good_matches:', len(good_matches))

# 호모그래피 계산
pts1 = np.array([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2).astype(np.float32)
pts2 = np.array([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2).astype(np.float32)  # 수정된 부분

H, _ = cv2.findHomography(pts1, pts2, cv2.RANSAC)  # pts1과 pts2의 행렬 주의 (N,1,2)

# 호모그래피를 이용하여 기준 영상 영역 표시
dst = cv2.drawMatches(src1, kp1, src2, kp2, good_matches, None, flags=cv2.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)

(h, w) = src1.shape[:2]

# 입력 영상의 모서리 4점 좌표
corners1 = np.array([[0, 0], [0, h-1], [w-1, h-1], [w-1, 0]]).reshape(-1, 1, 2).astype(np.float32)

# 입력 영상에 호모그래피 H 행렬로 투시 변환
corners2 = cv2.perspectiveTransform(corners1, H)

# corners2는 입력 영상에 좌표가 표현되있으므로 입력영상의 넓이 만큼 쉬프트
corners2 = corners2 + np.float32([w, 0])

# 다각형 그리기
cv2.polylines(dst, [np.int32(corners2)], True, (0, 255, 0), 2, cv2.LINE_AA)

cv2.imshow('Homography', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

 

 

 

영상 이어 붙이기(Image Stitching)

영상 이어 붙이기는 여러 장의 영상을 서로 이어 붙여서 하나의 큰 영상을 만드는 기법이다.

이렇게 만들어진 영상을 파노라마 영상(Panorama Image)라고 한다.

import cv2

# 이미지 읽기
img1 = cv2.imread('cat1.png')
img1 = cv2.resize(img1,(int(img1.shape[1]//2),int(img1.shape[0]//2)),interpolation=cv2.INTER_LANCZOS4)
img2 = cv2.imread('cat2.png')
img2 = cv2.resize(img2,(int(img2.shape[1]//2),int(img2.shape[0]//2)),interpolation=cv2.INTER_LANCZOS4)
img3 = cv2.imread('cat3.png')
img3 = cv2.resize(img3,(int(img3.shape[1]//2),int(img3.shape[0]//2)),interpolation=cv2.INTER_LANCZOS4)

img_list = [img1,img2,img3]

stitcher = cv2.Stitcher.create()

status,stitched = stitcher.stitch(img_list)
# 결과 이미지 출력
cv2.imshow("img1",img1)
cv2.imshow("img2",img2)
cv2.imshow("img3",img3)
cv2.imshow("Stiched Image",stitched)
cv2.waitKey(0)
cv2.destroyAllWindows()