Image_pyramid

이미지 피라미드(image pyramid)

이미지를 여러 스케일(scale)에 걸쳐서 분석하는 가장 기본적인 방법은 입력 이미지의 크기를 단계적으로 변화(축소)시켜 가면서 필요한 분석 작업을 하는 것이다. 이 때 이렇게 생성된 일련의 이미지 집합을 이미지 피라미드(image pyramid)라 부른다.

예를 들어 영상에서 보행자를 검출하는 경우, 먼저 <그림 2>와 같이 이미지 피라미드를 생성한 후 각 스케일 영상에서 고정된 크기의 윈도우를 이동시켜 가면서 윈도우 내 영역이 보행자인지 여부를 판단하는 것이 일반적이다.

<그림 2> 이미지 피라미드

※ 스케일이 크다? 작다?

흔히 스케일이 크다는 것은 어떤 사물을 넓은 시야에서 본다는 의미이다. 그렇다면 이미지 피라미드에서 축소된 이미지들은 원본 이미지에 비해 스케일이 큰 것일까? 아니면 작은 것일까? 정답은 '크다'이다. 혼동되기 쉬운 부분이긴 한데 이미지의 크기(size)를 축소시킬수록 이미지의 스케일(scale)은 (반비례로) 큰 값을 갖는다. 축소된 이미지에서는 숲을 보게 되고 확대된 이미지에서는 나뭇잎을 보게 됨을 생각하면 된다. 논문 등에서 스케일(scale) 변화에 따른 성능 그래프 등을 볼 때 스케일 값이 클수록 그만큼 이미지는 축소된 것임에 주의해야 한다.

※ 스케일의 단계(scale step)

여러 크기의 물체를 검출할 목적인 경우 스케일을 보통 1.1배(또는 1.05배)씩 증가시켜 가면서 이미지 피라미드를 구성한다. 즉, 원본 이미지의 스케일을 1이라 했을 때 다음 이미지의 스케일은 1.1, 그 다음 이미지는 1.1*1.1, ... 과 같은 식이다. 이 때 이미지의 크기(size)는 1/스케일 배씩 축소된다. 즉, 처음 이미지의 크기가 1이라면 다음 이미지의 크기는 1/1.1, 그다음 이미지의 크기는 1/(1.1*1.1), ... 과 같은 식이다.

※ Gaussian Pyramid

이미지 피라미드를 생성할 때, 일련의 블러링(blurring)과 다운 샘플링(sub sampling)을 통해 이미지를 1/2씩 축소시켜 가면서 피라미드를 생성하는 경우도 있다 (블러링->1/2축소->블러링->1/2축소->...). 블러링에는 Gaussian 필터를 이용하고 다운 샘플링은 짝수번째 픽셀들은 버리고 홀수번째 픽셀들만을 취하는 방식으로 진행한다. 이렇게 생성된 이미지 피라미드를 Gaussian pyramid라 부르는데, Gaussian pyramid에서는 이미지의 크기가 빠르게 줄어들기 때문에 피라미드를 구축하기 위한 시간과 메모리 요구량이 낮고 이후 빠른 영상분석이 가능한 장점을 갖는다. 하지만 스케일 축에서 보면 Gaussian pyramid는 물체가 가질 수 있는 연속된 스케일 변화를 매우 coarse하게만 샘플링한 것이기 때문에 스케일 축 상에서 물체를 비교하거나 매칭할 때 알고리즘적으로 문제가 어려워지는 단점을 갖는다.

<그림 3> Gaussian pyramid (그림출처: Twan Maintz, "Digital and Medical Image Processing")

따라서, Gaussian pyramid는 축소된 이미지에서 빠르게 원하는 특징이나 대상을 검출한 후에 점차적으로 원래의 스케일에서 보다 정확한 특징을 계산하는 coarse-to-fine 형태로 주로 사용된다. 일례로, opencv 등에 구현되어 있는 Lucas-Kanade optical flow 알고리즘은 먼저 피라미드의 최상층 이미지에서 optical flow를 대략적으로 계산한 후 이를 좀더 확대된 이미지에서 다시 계산(refine)함으로써 점차적으로 flow의 정확도를 높이는 방법을 사용한다.