컴퓨터 비전에서 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 영상은 서로 다른 좌표계에서 얻어지게 된다. 영상 정합(image registration)은 이와 같은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다. 정합을 통해 서로 다른 측정 방식을 통해 얻은 영상이 어떻게 대응되는지를 알 수 있다.
의료 영상 처리에서 환부의 영상을 시간에 따라 비교하거나, 정상인 조직의 영상과 비교하기 위해서는 호흡 등의 변형을 보정하기 위한 탄성 정합을 요구하기도 한다. 의료 영상의 비강체 정합을 통해 환자의 영상을 해부학적 아틀라스에 정합시킬 수 있다.
알고리즘 분류
세기 바탕과 특징 바탕
영상 정합 혹은 영상 맞추기 알고리즘은 세기 바탕 방식과 특징 바탕 방식으로 나뉜다. 고정된 영상을 참조영상 혹은 원본영상이라고 하고, 맞추어질 영상을 맞출영상이라고 한다. 영상 정합은 맞출영상을 공간적으로 변형해 참조영상에 맞추는 과정을 포함한다. 세기 바탕 방식은 영상의 세기의 형태를 비교하는 방식이고, 특징 바탕 방식은 영상 속의 점, 선, 테두리 등을 찾아 서로 맞추는 방식이다. 세기 바탕 방식은 그림을 통째로 비교해 정합하는 데 반해, 특징 바탕 방식은 둘 이상의 그림 속에서 여러 개의 특징을 찾아 비교한다. 두 영상 속에서 몇 개의 특징점의 대응관계를 알면 두 영상의 변환 관계를 결정할 수 있기 때문에, 그로부터 영상 속의 다른 점들의 대응관계를 계산할 수 있다.
변형 모델
영상 정합 알고리듬은 참조영상과 맞출영상 사이의 변환관계에 따라 분류될 수도 있다. 넓게 분류하면, 첫 번째 범주로 변위, 회전, 확대·축소, 아핀변환 등을 포함한 선형 변환을 들 수 있다. 하지만 선형변환은 영상들 사이의 기하학적 변형은 설명할 수 없다. 둘째 범주로 탄성, 혹은 비강체 변환을 들 수 있다. 이와 같은 변환은 국소적인 변형을 설명할 수 있다. 비강체 변환은 물리적 연속체 모델(점성 유체)나 미분동형사상과 같은 변형을 포함한다.
공간 영역 방식과 주파수 영역 방식
공간 영역 방식은 영상의 공간 속에서 그림의 픽셀 세기 패턴이나 특징을 맞추는 방식이다. 특징 맞추기는 사람이 일일이 그림 속의 특징점을 손으로 맞추는 수동 영상 정합을 자동화한 방식이다. 두 그림 속의 특징점 쌍의 개수가 해당 영상 변형에 필요한 최소 개수보다 많은 경우, RANSAC과 같은 방식을 이용해 두 영상 사이의 영상 변형을 찾아낼 수 있다.
주파수 영역 방식은 두 영상 간의 변형에 필요한 매개변수를 주파수 영역에서 직접 찾아내는 방식이다. 이때 찾아낼 수 있는 변형은 영상의 이동, 회전, 크기변화 등이다. 푸리에 공간에서 두 영상의 위상의 상호상관계수를 계산해 제3의 이미지를 생성하면, 그 이미지에서 최댓값이 나타나는 부분이 두 이미지 사이의 상대적인 이동 벡터이다. 공간 영역 방식과 달리, 주파수 영역 방식은 잡음, 그림의 가려짐과 같은 손상에 큰 영향을 받지 않는다. 위상의 상관계수를 이용하는 방식은 고속 푸리에 변환을 이용하기 때문에 연산의 효율을 크게 향상시킬 수 있다. 영상의 회전과 크기변화를 계산하기 위해서는 먼저 영상의 푸리에 영상을 로그-극 좌표계로 변환한다. 그렇게 하면 회전은 각성분 방향으로의 변위로, 크기변화는 반지름 성분 방향의 변위로 나타난다.
단일 방식 정합과 여러 방식 정합
영상 정합은 다시 한 가지 방식의 영상들을 맞추는 단일 방식 정합과, 여러 방식의 영상을 서로 맞추는 여러 방식 정합으로 나뉜다. 단일 방식 정합은 한 가지 스캐너, 혹은 측정 장치에서 얻어진 영상만을 정합하는 것이고, 여러 영상 방식은 서로 다른 스캐너, 혹은 측정 장치에서 얻어진 영상들을 정합하는 것이다.
여러 방식 정합은 특히 의료 영상에서 여러 가지 스캐너를 이용해 얻은 영상을 서로 맞추기 위해 주로 이용된다. 예를 들어 자기공명영상(MRI)과 컴퓨터 단층촬영(CT) 영상 사이의 정합, 혹은 양전자 방출 단층촬영(PET)과 컴퓨터 단층촬영(CT) 영상 사이의 정합 (종양 부위 판단), 혹은 초음파 영상과 컴퓨터 단층촬영 영상의 정합 (방사선 치료를 위한 전립선 위치 탐색) 등을 위해 이용할 수 있다.
자동 방식과 수동 방식
영상 정합은 자동화의 단계에 따라, 수동, 대화식, 반자동, 자동 방식으로 나눌 수 있다. 수동 방식은 도구를 이용해 수동으로 맞출영상을 참조영상에 정렬한다. 대화식 방식은 사용자가 대략적으로 지시하면 컴퓨터가 자동으로 영상을 정합하는 방식이다. 반자동 방식은 컴퓨터가 대부분의 정합 과정을 수행하고, 사용자가 검토를 하는 방식이다. 자동방식은 모든 정합의 과정을 사용자의 도움 없이 컴퓨터가 수행하는 방식을 말한다.
응용
영상 정합은 원격탐지 (지도 갱신), 의료 영상 (변화 감지, 종양 관찰), 컴퓨터 비전 등에 응용된다. 다양한 대상의 다양한 영상에 적용이 가능하기 때문에 일반화된 정합 방식을 개발하는 것은 불가능하다.
유사성 척도
유사성 척도는 두 영상 사이의 유사성을 재는 척도이다. 어떤 유사성 척도를 이용할지는 어떤 영상 방식을 이용하느냐에 따라 다르다. 서로 다른 영상 방식 사이의 정합을 위해 흔히 이용되는 사례로는, 상관계수, 상호정보량, 정규상호정보량 등이 있고, 같은 방식의 영상 사이의 정합에는 이밖에 차 제곱합이 이용될 수도 있다.
불확실성
영상이 시·공간의 차이를 두고 만들어질 경우, 정합에는 불확실성이 있을 수 있다. 정합의 불확실성을 아는 것은 의료 영상에서 환부의 변화를 감지하는 데 아주 중요하다.