[Computer Vision] 이미지 유사도

👀 본 예제는 Window10의 VSCode, Python3.11.0로 작성되었습니다.

 

이미지 유사도는 두 이미지 간의 유사성을 평가하는 개념으로, 주로 컴퓨터 비전 및 이미지 처리 분야에서 사용된다.

 

이미지 유사도의 측정 방법은 여러 가지가 있으며, 각 방법은 특정한 기준이나 알고리즘을 기반으로 한다.

 

이미지 유사도를 평가하는 이유는 다양하나 일반적으로 다음과 같은 목적을 가지고 있다.

• 검색 및 추천 시스템 : 이미지 검색 엔진, 추천에 사용되어 사용자가 입력한 이미지와 유사한 이미지를 찾는데 도움을 준다.
• 중복 이미지 탐지 : 웹 사이트나 데이터베이스에서 중복된 이미지를 찾아내기 위해 유사도 측정이 필요하다.
• 이미지 품질 평가 : 이미지의 품질을 평가하거나, 압축 후의 이미지가 원본과 얼마나 유사한지를 판단하는 데 사용된다.
• 객체 인식 및 분류 : 이미지 내의 객체를 인식하고 분류하는 과정에서도 유사도 측정이 중요한 역할을 한다.

 

픽셀 기반 유사도 측정 - MSE(Mean Squared Error)

두 이미지의 각 픽셀 값 간의 차이를 제곱하여 평균을 구하는 방법이다.

 

두 이미지 간의 차이를 정량적으로 평가할 때 사용된다.

값은 0 이상이며, 0에 가까울수록 두 이미지가 유사하는 것을 의미한다.

 

MSE는 이미지의 구조적 정보나 인간의 시각적 인식을 반영하지 않기 때문에, 두 이미지가 시각적으로 유사하더라도 MSE값이 높게 나올 수 있다.

예를 들어, 이미지의 밝기나 대비가 다를 경유 MSE는 큰 값을 가질 수 있다.

 

다른 방법들과 함께 사용되는 경우가 많다.

import cv2
import numpy as np
from numba import jit


@jit
def mse(imageA:np.ndarray, imageB:np.ndarray):
    # 두 이미지의 차이를 계산
    err = np.sum((imageA.astype("float") - imageB.astype("float")) ** 2)
    err /= float(imageA.shape[0] * imageA.shape[1])
    return err


if __name__ == "__main__":
    im1 = cv2.imread("cat1.jpg")
    im2 = cv2.imread("cat1.jpg")
    ratio = mse(im1,im2)
    print(f"유사도 : {ratio}")

같은 이미지 일때는 0이다.

 

하지만 다른 이미지의 경우 0보다 큰 값이 나온다.

 

 

MSE 방법은 앞서 말했듯 사람의 시각적 인식을 반영하지 않기 때문에 개와 고양이를 구분하지 못한다.

그리고 같은 고양이 이미지더라도 아예 다른 이미지로 인식하기 때문에 단독적으로 사용하기 힘들다.

 

 

픽셀 기반 방법 - PSNR(Peak Signal-to-Noise Ratio)

MSE를 기반으로 하여 신호 대 잡음 비율을 계산한다.

 

주로 압축된 이미지와 원본 이미지 간의 품질을 비교하는 데 사용된다.

값이 높을수록 두 이미지 간의 유사성이 높고 품질이 좋다는 것을 의미한다.

 

import cv2
import numpy as np
from numba import jit
from copy import copy

def mse(imageA, imageB):
    # 두 이미지의 차이를 계산
    err = np.sum((imageA.astype("float") - imageB.astype("float")) ** 2)
    err /= float(imageA.shape[0] * imageA.shape[1])
    return err

def psnr(imageA, imageB):
    # MSE 계산
    error = mse(imageA, imageB)
    if error == 0:
        return float('inf')  # 두 이미지가 동일할 경우 PSNR은 무한대
    MAX_PIXEL_VALUE = 255.0  # 8비트 이미지의 최대 픽셀 값
    return 10 * np.log10((MAX_PIXEL_VALUE ** 2) / error)

if __name__ == "__main__":
    im = cv2.imread("cat1.jpg")
    zim = copy(im) # 저화질 이미지
    zim = cv2.blur(zim,(5,5))

    psnr_ori = psnr(im,zim)

    print(f"k(5,5) 유사도: {psnr_ori} dB")
    
    zim = cv2.blur(zim,(9,9))
    psnr_val = psnr(im,zim)
    
    print(f"k(9,9) 유사도 : {psnr_val} dB")

    cv2.imshow("img",im)
    cv2.imshow("low img",zim)

    cv2.waitKey(0)
    cv2.destroyAllWindows()

 

이미지 화질이 더 떨어질 수록 더 값이 낮아진다.

 

 

구조 기반 방법 - SSIM(Structural Similarity Index)

SSIM은 두 이미지 간의 구조적 유사성을 측정하는 지표로, 이미지 품질 평가에 널리 사용된다.

밝기, 대비, 구조의 세 가지 요소를 고려하여 두 이미지의 유사성을 평가한다.

 

값은 0~1 사이의 값을 가지고 1에 가까울수록 두 이미지가 유사하다는 것을 의미한다.

import cv2
from skimage.metrics import structural_similarity as ssim

# 이미지 읽기
imageA = cv2.imread('cat1.jpg')
cv2.imshow("im1",imageA)
imageB = cv2.imread('cat2.jpg')
cv2.imshow("im2",imageB)

# 이미지를 그레이스케일로 변환 (SSIM 계산을 위해)
imageA_gray = cv2.cvtColor(imageA, cv2.COLOR_BGR2GRAY)
imageB_gray = cv2.cvtColor(imageB, cv2.COLOR_BGR2GRAY)

# SSIM 계산
ssim_index, _ = ssim(imageA_gray, imageB_gray, full=True)

print(f'SSIM: {ssim_index}')

cv2.waitKey(0)
cv2.destroyAllWindows()

 

이미지의 구조, 밝기, 대비 등을 통해 유사도를 평가하므로 다른 이미지인지는 평가 가능하나 고양이, 강아지, 토끼 이렇게 구분은 할 수 없다.

 

특징 기반 방법 - SIFT(Scale-Invariant Feature Transform)

이미지의 특징점을 추출하고 이미지 간의 매칭을 수행하는 알고리즘으로 다양한 스케일과 회전, 조명 변화에 강인한 특징을 제공하여 컴퓨터 비전 분야에 널리 사용된다.

 

주요 단계

• 스케일 공간 극대화
• 특징점 로컬라이제이션
• 주 방향 할당
• 특징 벡터 생성
• 특징점 매칭

 

 

장점

• 스케일 불변
• 회전 불변
• 조명 변화에 강인

 

단점

• 계산 비용이 많이 든다.

 

 

import cv2

# 이미지 읽기
image1 = cv2.imread('cat1.jpg', cv2.IMREAD_GRAYSCALE)
image2 = cv2.imread('cat2.jpg', cv2.IMREAD_GRAYSCALE)

# SIFT 객체 생성
sift = cv2.SIFT_create()

# 특징점 및 디스크립터 추출
keypoints1, descriptors1 = sift.detectAndCompute(image1, None)
keypoints2, descriptors2 = sift.detectAndCompute(image2, None)

# 매칭을 위한 BFMatcher 생성
bf = cv2.BFMatcher(cv2.NORM_L2, crossCheck=True)

# 특징점 매칭
matches = bf.match(descriptors1, descriptors2)

# 매칭 결과 정렬
matches = sorted(matches, key=lambda x: x.distance)

# 매칭 결과 시각화
result_image = cv2.drawMatches(image1, keypoints1, image2, keypoints2, matches, None)

print(f"NUmber of match result : {len(matches)}/{len(descriptors1)}")

# 결과 이미지 출력
cv2.imshow('SIFT Matches', result_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

 

이 방법도 cat, dog, rabbit을 구분하지는 못한다.

 

특징 기반 방법 - SURF(Speeded-Up Robust Features)

이미지의 특징점을 추출하여 이미지를 매칭하는 알고리즘으로 SIFT의 대안으로 개발되었으므로 더 빠르고 효율적인 특징점 추출을 목표로한다.

 

import cv2
import numpy as np

# 이미지 로드
img1 = cv2.imread('cat1.jpg', cv2.IMREAD_GRAYSCALE)  # 첫 번째 이미지
img2 = cv2.imread('cat2.jpg', cv2.IMREAD_GRAYSCALE)  # 두 번째 이미지

# SURF 객체 생성
surf = cv2.xfeatures2d.SURF_create(hessianThreshold=400)

# 특징점 검출 및 기술자 생성
keypoints1, descriptors1 = surf.detectAndCompute(img1, None)
keypoints2, descriptors2 = surf.detectAndCompute(img2, None)

# 매칭을 위한 BFMatcher 객체 생성
bf = cv2.BFMatcher(cv2.NORM_L2, crossCheck=True)

# 특징점 매칭
matches = bf.match(descriptors1, descriptors2)

# 매칭 결과를 거리 기준으로 정렬
matches = sorted(matches, key=lambda x: x.distance)

# 매칭 결과 시각화
img_matches = cv2.drawMatches(img1, keypoints1, img2, keypoints2, matches, None, flags=cv2.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)

print(f"NUmber of match result : {len(matches)}/{len(descriptors1)}")
# 결과 이미지 표시
cv2.imshow('Matches', img_matches)
cv2.waitKey(0)
cv2.destroyAllWindows()

 

OpenCV 3.4.2 이상에서는 저작권으로 보호되기 때문에 CMake 옵션을 활성화해서 OpenCV를 비공식적으로 사용해야한다.

 

 

벡터 공간 - Cosine Similarity, Hamming Distance

Cosine Similarity는 두 벡터 간의 코사인 각도를 기반으로 유사성을 측정하고 두 벡터가 얼마나 유사한지를 0과 1 사이의 값으로 나타내며, 1에 가까울수록 유사성이 높고, 0에 가까울수록 유사성이 낮다.

• 주로 이진 데이터나 문자열의 유사성을 측정하는 데 사용된다.
• 두 벡터의 길이가 같아야 하며, 서로 다른 위치의 요소 수를 세는 방식이다.
• 벡터의 방향을 기반으로 유사성을 측정한다.

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from PIL import Image

def image_to_vector(image_path):
    image = Image.open(image_path).convert('L')  # 흑백 이미지로 변환
    image = image.resize((100, 100))  # 크기 조정
    return np.array(image).flatten()  # 1차원 배열로 변환

# 이미지 경로
image1_path = 'cat1.jpg'
# image2_path = 'cat2.jpg'
image2_path = 'dog1.jpg'

# 이미지 벡터화
vector1 = image_to_vector(image1_path)
vector2 = image_to_vector(image2_path)

# 코사인 유사도 계산
similarity = cosine_similarity([vector1], [vector2])
print(f"Cosine Similarity: {similarity[0][0]}")

 

 

Hamming Distance는 두 문자열 또는 이진벡터 간의 차이를 측정하는 방법이다. 두 벡터의 길이가 같을 때, 서로 다른 위치의 요소 수를 계산하여 거리를 정의한다.

• 주로 이진 데이터나 문자열의 유사성을 측정하는 데 사용된다.
• 두 벡터의 길이가 같아야 하며, 서로 다른 위치의 요소 수를 세는 방식이다.
• 두 벡터의 차이를 측정한다.

import numpy as np
from PIL import Image

def image_to_binary_vector(image_path):
    image = Image.open(image_path).convert('1')  # 이진 이미지로 변환
    return np.array(image).flatten()  # 1차원 배열로 변환

# 이미지 경로
image1_path = 'cat1.jpg'
image2_path = 'dog1.jpg'

# 이진 이미지 벡터화
binary_vector1 = image_to_binary_vector(image1_path)
binary_vector2 = image_to_binary_vector(image2_path)

# 해밍 거리 계산
def hamming_distance(A, B):
    if len(A) != len(B):
        raise ValueError("두 벡터의 길이는 같아야 합니다.")
    return np.sum(A != B)

distance = hamming_distance(binary_vector1, binary_vector2)
print(f"Hamming Distance: {distance}")

 

 

하지만 이 방법들은 제대로된 비교를 하기 힘들다. 이미지 분류, 벡터 DB 구축 등을 이미지 유사도를 사용하여 하려면 이미지를 벡터화하는 임베딩 모델을 사용하여 벡터화해야 한다.

 

 

 

AI를 사용

CNN과 같은 모델로 이미지를 특징 벡터로 변환 후, 이미지 벡터들 간의 유사도를 계산한다.

대표적으로 Siamese Network, Pre-trained CNN 등을 사용할 수 있다.