1. 서 론

3차원 입체 영상이 주목받기 시작하면서 3차원 물체를 취득하고 디스플레이하기 위한 다양한 방법이 연구되어 왔다^[1]-[5]. 특히, 집적 영상 (integral imaging) 방식은 자연광을 이용하여 3차원 물체를 기록하고 재생할 수 있는 기술로서 1908년에 Lippmann에 의해서 처음 제안된 이후 많은 연구가 수행되어 왔다^[6]-[12]. 집적 영상 기술은 기존의 잘 알려진 스테레오 스코피 방식과는 달리 관찰자의 시각적 피로감이 없고 연속적인 시점과 수평, 수직 시차를 모두 제공할 수 있다.

렌즈 배열을 통해 취득된 영상을 요소 영상 배열(EIA)이라고 한다. EIA의 각 요소 영상 하나하나는 3차원 물체의 시점에 대한 정보가 담겨있고 이는 일반 영상과는 다른 특징점이다. 하지만 일반적인 영상과 달리 많은 시점 영상을 저장해야 해서 데이터양이 매우 많다는 문제점이 있다. 따라서 요소 영상 배열을 압축하는 문제가 집적 영상 분야에서 요구된다. 이러한 이유로 집적 영상에 대한 압축 연구가 활발이 이루어져 왔는데 M. C. Forman et al.은 단방향 집적 영상에 대해 3차원 DCT(3D-DCT)에 기반하여 압축 기법을 제안하였다^[13]. R.Zaharia는 3D-DCT에 기반한 적응적 양자화 기법을 제안하였다^[14]. DCT 이외에도 KLT(Karhune-Loeve Transform)를 이용한 집적 영상 압축 방법이 제안되었다^[15]-[16].

압축의 과정은 크게 두 가지로 이루어진다. 첫 번째는 입력된 영상에 대한 상관도를 제거하는 전처리 과정이며, 두 번째는 실제 압축 과정에 해당하는 엔트로피 코딩 과정이다. 그중에서, 상관도 제거 과정은 각 영상끼리 가지는 상관도를 제거함으로써 영상 압축의 효율을 높일 수 있다. 기존의 2차원 평면 영상과는 달리 데이터의 양이 대폭 증가한 3차원 영상은 별도의 전처리 과정 없이 영상을 그대로 전송하기에는 비용 면에서 큰 손해이다. 그러한 이유로, 효율적인 압축을 위해 입체 영상에 대한 전처리 과정이 불가피하다. 특히 국제 표준화 기구 JPEG(Joint Photographic Experts Groups)에서는 JPEG Pleno라는 이름으로 3차원 영상 압축을 위한 표준화 과제를 진행 중이다^[17]-[18].

본 논문에서는 EIA 영상에 대한 전처리 과정에서 EIA 영상을 VIA 영상으로 변환하여 압축의 효율을 증대하는 데에 주목하고 있다. 이는 기존의 일반 영상 전처리 과정과는 달리 EIA 이미지를 VIA 이미지로 변환하는 과정을 추가함으로써 기존의 EIA가 가지는 문제를 해결하여 압축률을 높이는 방법이다. 또한, EIA와 VIA는 서로 다른 특성을 가지기 때문에 각 영상에 적합한 압축 방법을 찾는 연구가 필요하다.

본 논문은 다음과 같이 구성되어 있다. 1절에서는 본 논문에서 다루는 3차원 입체 영상에 대한 소개 및 본 논문의 필요성을 다루었고, 2절에서는 본 논문에서 사용되는 EIA 및 VIA에 대한 기본 개념 및 사용할 압축 코덱에 대한 분석을 제공한다. 3절에서는 본 논문에서 제안하는 방법을 다루며, 4절에서는 해당하는 실험 결과 및 고찰에 대해 언급한다. 마지막으로 5절에서는 본 논문에 대한 결론으로 끝맺음한다.

2. 기본 개념

본 연구에서 사용하고자 하는 영상은 EIA(elemental image array) 영상으로, 하나의 렌즈를 통해 취득된 영상이 요소 영상이다. 이 요소 영상들을 배열로 나열한 것이 EIA이다. EIA 영상의 크기는 렌즈의 크기와 렌즈의 개수에 의해 정해지며, 렌즈 배열을 통해 얻어지는 영상이기 때문에 일반 영상과는 다른 특징을 가진다. 그러한 이유로, EIA 영상에 적합한 상관도 제거를 위한 변환 기술과 EIA 영상을 보다 효율적으로 압축하기 위한 알고리즘이 적용되어야 한다. 상관도 제거를 위한 변환 기술은 영상의 크기에 비해 렌즈의 크기가 작을 때 압축 효율을 높이기 위해 EIA 영상을 VIA(view image array)로 변환하는 기술을 적용하였다. 이에 대한 설명은 아래에서 자세히 다루도록 한다. 압축 코덱으로 사용한 알고리즘은 기존의 H.263, MPEG-4가 가지는 한계성을 해결하여 모바일 동영상 서비스 등 현재 멀티미디어 전송 분야에서 주로 사용되는 H.264 코덱을 사용하여 영상을 압축하였다. H.264에 대한 분석은 다음 절에서 이어진다.

2.1 EIA / VIA

앞서 언급한 바와 같이, EIA 영상은 다수의 렌즈 배열을 통해 얻어진 영상으로, 2차원 요소 영상들의 2차원 배열 형태로 이루어진 영상이다. 렌즈 배열을 통해 획득된 영상으로, 각 영상은 3차원 물체에 대한 특정 시점에 대한 정보를 가지고 있다는 점에서 기존 영상과 다른 특징을 가지고 있다. 영상에서 가까이 있는 렌즈에 의해 취득된 영상일수록 3차원 물체에 대한 정보가 집중적으로 모여 있고 멀리 있는 렌즈에 의해 취득될수록 정보가 분산되어있는 형태이다.

요소 영상의 크기와 렌즈의 크기에 의해 취득되는 영상의 크기가 변동되기 때문에 각 요소 영상의 크기가 매우 작고 렌즈의 개수가 영상 크기에 비해 매우 크다면, 이 영상은 압축에 어려움을 겪을 수 있다. 왜냐하면, 각 요소 영상이 매우 작기 때문에 압축의 한계에 금방 도달하게 되며 영상마다 가지게 되는 오버헤드의 크기가 압축 데이터에 비해 턱없이 크다. 이러한 점은 압축률을 저감시키는 요인이 된다. 이러한 이유로, 요소 영상의 크기가 작은 EIA의 경우, EIA를 VIA 영상으로 변환하여 요소 영상의 크기를 키울 수 있다.

VIA는 각 요소 영상에서 같은 시점의 픽셀들을 모아 하나의 요소 영상으로 생성한 것이다^[19]. EIA를 VIA로 변환하는 식은 다음과 같다.

(1)

$$EIA(i,\:j,\:r,\:c)\Rightarrow VIA(r,\:c,\:i,\:j)$$

여기서, 식 (1)을 통해 EIA의 각 요소 영상에서 같은 시점의 픽셀을 모아 하나의 요소 영상으로 생성할 수 있다. 변환된 VIA는 기존의 EIA에 비해 물체의 깊이정보와 상관없이 각 요소 영상에 보여지는 물체의 모양이 서로 높은 유사성을 보인다. EIA를 통해 VIA를 생성하는 방법은 아래 그림 1과 같다.

그림. 1. EIA 영상에 대한 VIA 변환 과정

Fig. 1. EIA to VIA transform

요소 영상의 크기는 작고 렌즈의 개수가 많은 EIA를 VIA로 변환하게 되면 요소 영상의 크기는 커지는 반면, 렌즈의 개수가 줄어들게 된다. 그렇게 되면, 기존의 EIA보다 요소 영상의 크기가 커지고, 각 요소 영상 간 상관도가 높아지므로 예측 과정에서 쉽게 상관도 제거가 가능하다. 위와 같은 과정을 통해 요소 영상의 크기가 작은 EIA 영상을 VIA 영상으로 변환함으로써 변환된 영상은 압축에 보다 적합한 형태를 갖추게 된다. 하지만 요소 영상의 크기와 렌즈의 개수가 동일한 경우, 영상을 EIA 혹은 VIA로 변환하는 것이 압축률을 높인다고 할 수 없다. 그러한 이유로, 영상의 특성을 분석한 후, 각 영상에 적합한 변환 과정을 거친 후 압축에 적용하는 과정이 필요하다.

3. 제안하는 방법

본 연구에서는 요소 영상 배열의 효율적인 압축을 위하여 EIA 영상을 VIA 영상으로 변환하는 옵션 과정을 거친 후, 1차원 시퀀스 배열로 저장하여 H.264/AVC 코덱에 적용하는 과정으로 진행한다. 1차원 시퀀스 배열로 저장된 데이터는 YUV 4:2:0 포맷으로 이루어졌다. 이때, 입력 영상에 대한 변환 기법과 사용하는 압축 코덱의 프로파일을 다르게 적용하여 영상에 적합한 압축 과정을 찾고자 한다. 본 연구에서 진행한 실험 과정은 다음 그림 2와 같다.

H.264 코덱에 요소 영상을 적용하기 위해서는, 2차원으로 이루어진 데이터를 1차원 시퀀스 데이터로 나열해야 한다. EIA 영상을 단일한 정지 영상으로 간주하고 압축을 진행할 수도 있지만, 이 방법은 요소 영상 간의 불연속성 때문에 압축의 효율이 떨어진다. 이러한 이유로 2차원 배열로 이루어진 EIA 영상을 1차원 스캔 방법을 이용하여 시퀀스 형태로 변형하여 압축을 진행한다. 이 방법은 S. Yeom et al에 의해 고안된 방법으로 집적 영상의 특징을 고려한 방법이다^[24]. 그 중 본 논문에서는 나선형 스캔 방식을 선택하였다. 자세한 스캔 방식은 다음 그림 3과 같다.

나선 스캔 방법은 집적 영상의 경계에 위치한 요소 영상이 연속적인 영상으로 입력되는 것을 방지하고, 부분적으로 수직방향의 상관도를 제거할 수 있다는 점에서 압축 효율을 높일 수있다. 그러나 나선형 스캔 방법은 1차원 스캔 방법이므로 수직 및 수평 방향의 상관도를 동시에 고려하지 못한다. 또한, 스캔 순서에 의해 부분적으로 수직 또는 수평 방향의 상관도를 고려하기 때문에 부호화 효율을 향상시키는데 한계가 있다.

그림. 2. 제안하는 방법에 대한 흐름도

Fig. 2. Flowchart for proposed method

그림. 3. 제안된 방법에서 사용된 나선형 스캔 기법

Fig. 3. MPEG-4 spiral scanning method

나선 스캔이 이루어진 1차원으로 된 시퀀스 데이터는 본 논문에서 사용하고자 하는 H.264/AVC 의 입력 포맷에 맞추기 위해 YUV 형태로 변환되어야 한다. 이때 식 (2)를 적용하여 변환하였다.

위 식을 통해 변환된 YUV 영상은 U와 V 성분을 가로, 세로 방향으로 2:1 down sampling 하여 4:2:0 형태로 처리한다. U와 V 성분의 위치는 MPEG-2의 방식을 따라 선택하였다^[25]. 압축 성능을 평가하기 위해서 원본데이터와 압축된 파일의 크기를 비교하여 압축률을 계산하였다. 압축률에 관한 식은 다음 식 (3)과 같다.

다음으로, 압축된 파일을 복원한 후, 다시 2차원 요소 영상 배열의 형태로 재배열하여 color PSNR(Peak signal-to-noise ratio)을 계산하여 성능을 평가하였다. 식 (4)는 color PSNR을 구하는 식이며, color PSNR은 R, G, B 각각의 영상에 대한 PSNR 값의 평균값이다. 이때, 식 (4)는 요소 영상의 R, G, B 각각의 MSE(Mean Squared Error) 값에 의해 정의된다. 식 (5)는 R,G,B 각각에 대한 MSE 값과 color PSNR에 필요한 MSE를 구하는 식이다. 이때, $O$는 $M\times N$ 크기의 원본 영상을 나타내고, $R$은 복원된 영상을 나타낸다.

4. 실험 결과

실험에서 사용된 데이터는 다음과 같다. 그림 4는 실제 EIA 영상을 VIA 영상으로 변환한 실험이다. 그림 4에서 보이는 바와 같이, (a)는 EIA 데이터이며, (b)는 EIA 데이터를 VIA 데이터로 변환한 영상이다. EIA의 경우 각 렌즈에 대한 시점 정보가 담겨 있기 때문에, 렌즈가 바라보는 각도마다 영상이 다르게 보인다는 점을 확인할 수 있다. 그에 반해 VIA 영상의 경우, 모든 렌즈의 동일한 시점에 대한 픽셀 정보를 모아 새로운 영상으로 변환하였기 때문에 대체로 유사한 영상으로 보임을 알 수 있다. 각 영상에 대한 정보는 다음 표 1과 같다. 표 1에서 보이는 바와 같이 요소 영상의 크기와 요소 영상의 개수가 동일하기 때문에 VIA 변환이 이루어져도 각각의 크기 및 사이즈가 동일함을 알 수 있다.

다음으로, 표 2는 EIA 영상에 대한 압축률 및 color PSNR 결과 표이다. 압축률의 경우, high profile로 압축한 결과에 비해 baseline profile로 압축한 결과가 훨씬 월등함을 알 수 있다. 그러나 PSNR을 비교했을 때, baseline profile에 대한 PSNR은 30dB를 채 넘지 못한다는 점에서 복원 영상에 대한 화질이 떨어짐을 알 수 있다. VIA 영상을 압축한 결과 역시 비슷한 결과를 보여준다. 표 4에서 보이는 바와 같이, baseline profile을 적용하여 압축한 결과는 압축률은 높지만 PSNR이 현저히 떨어짐을 알 수 있다.

그림. 4. 실제 EIA 영상에 대한 VIA 변환 실험 영상

Fig. 4. Experiment of EIA to VIA transform

다음으로, 그림 5는 각 영상에 대해 H.264 High profile과 Baseline profile을 적용한 압축률 대비 PSNR 결과이다. 먼저, 프로파일 별 영상에 대한 결과에 대해 분석하고자 한다. 그림 5에서 보이는 바와 같이, high profile로 압축된 EIA 영상과 VIA 영상이 baseline profile에 비해 color PSNR이 압축률 70:1 일 때 EIA는 약 7dB, VIA는 약 8dB정도 높음을 확인할 수 있다. 압축률은 high profile의 경우 최대 압축률이 EIA일 때 약 75:1, VIA 일 때 약 105:1임을 확인할 수 있다. 그에 반해, baseline profile은 high profile보다 훨씬 높은 약 117:1, 153:1의 압축률을 보여주고 있다. 이는, 각각의 프로파일이 가지는 오버헤드의 크기로 인해 높은 사양의 프로파일을 사용함에도 불구하고 전체 압축률이 저하됨을 보여주고 있다.

그림. 5. 프로파일 별 압축률 대비 color PSNR

Fig. 5. color PSNR per compression rate corresponding to profile

실험 결과를 통해, EIA 데이터 및 VIA 데이터를 고압축하기 위해 baseline profile을 사용하기에는 PSNR이 매우 낮아 화질에 대한 사용자의 만족도를 떨어트리고, 화질 개선을 위해 high profile을 사용하기에는 압축률이 현저히 떨어진다는 점에서 한 방법만을 고수하기에는 어려움이 있었다. 이러한 이유로, 입력 영상에 대한 특성을 면밀히 파악하여 영상에 적합한 프로파일 및 영상 변환을 통한 압축 과정을 적용하는 것이 적합하다는 것을 알 수 있었다.

5. 결 론

본 논문에서는 요소 영상 배열을 효율적으로 압축하기 위해 적합한 영상 변환 및 압축 코덱을 찾기 위한 실험을 진행하였다. 일반적으로 고효율 압축을 보여주는 H.264/AVC는 영상 크기가 매주 작은 영상에는 적합하지 않다는 것을 확인할 수 있었다. 또한, 프로파일 별 압축률에 따라 각 영상이 가지는 오버헤드의 크기로 인해 압축률에 영향을 끼친다는 점 또한 확인할 수 있었다. 이러한 이유로, 입력되는 요소 영상의 특성에 따라 적응적으로 요소 영상 배열의 변환 과정이 필요하며, 영상 데이터의 압축률에 따라 압축 코덱의 프로파일을 적응적으로 변동하며 사용해야 한다는 점을 알 수 있었다.