1. 서 론

GPS(Global Positioning System)는 항법 신호 송출 기능을 탑재한 인공위성 3~4개로부터 수신한 시간정보를 토대로 삼각측량법을 이용하여 현재 위치를 추정하는 시스템이다. 최근 GPS 신호를 이용한 위치추정 시스템은 다양한 분야에서 사용되고, 특히 자율주행을 위한 핵심적인 서비스들은 여전히 GPS에 주로 의존하고 있어, 정확한 위치추정의 중요성이 증가되고 있다^(1-6). 하지만 GPS에 사용되는 항법 인공위성은 지구 상공 약 20,000km의 상공에 존재하기 때문에 위성에서 송신하는 신호가 지면에 도달하는 동안 신호의 세기가 약해져 동일 주파수인 라디오 전파를 사용하는 신호의 간섭에 의해 오차가 발생한다는 단점이 있다. 또한, 터널과 같은 차폐지역과 건물들이 복잡하게 구성되어 있는 도심지에서는 위성들의 시간정보가 제대로 수신되지 않아 추정 오차가 크게 발생하기 때문에, 자율주행 자동차에서 위치 추정을 위한 시스템에 GPS가 단독으로 활용되기에는 많은 어려움이 따른다. 최근 LED(Light Emitting Diode)는 저 전력, 낮은 구동전압, 빠른 응답속도, 내구성, 빠른 스위칭 등의 특성으로 인해 다양한 분야로 활용되고 있는데, 교통시스템 분야에서도 도로의 가로등, 신호등과 같은 조명 인프라가 기존 할로겐 조명에서 점차 LED 로 대체되고 있다. 또한, LED는 원래의 조명 기능을 유지 하면서 빠른 스위칭 특성을 활용하여 가시광 신호를 전송하는 가시광 통신(VLC, Visible Light Communication) 의 송신단으로 활용되고 있다. ^(7,8) VLC의 경우 카메라와 LED 를 활용하여 데이터를 송수신하므로, 기존의 RF통신이 가지고 있는 주파수 부족문제를 해결할 수 있고, 이미 구축된 송수신 인프라를 이용할 수 있으므로 구현이 간단한 편이다. 가시광 통신의 많은 연구주제 중에서도 최근에는 위치추정 기술에 대한 연구가 활발하게 진행되고 있다^(9-15). 논문 ⁽⁹⁾에서는 고속카메라를 기반으로 차량간 (V2V, vehicle to vehicle), 차량인프라간 (V2I, vehicle to infrastructure) VLC 기술을 사용할 때 차량의 모션과 거리 추정에 대한 컨셉을 소개하였다. 논문 ⁽¹⁰⁾에서는 S2-PSK (Spatial-2-Phase-Shift-Keying) 라는 기법을 통해 카메라로 가시광 데이터를 수신하는 방식을 설명하였다. S. Y. Jung⁽¹¹⁾이 제안한 TDOA(Time Difference Of Arrival)를 활용한 위치 추정 방식은, 실내에서 각 LED 마다 다른 주파수를 부여하고 수신단에는 photodioide (PD)를 이용하여 각 LED의 주파수 ID에 대한 신호 구분을 할 수 있는 기법이다. Trong-Hop Do et al.⁽¹²⁾에서는 LED에서 전송하는 신호의 수신 신호 시간차이를 이용하는 삼각 측량 기반의 VLC-TDOA 기법을 제안하였다. Kim et al.⁽¹³⁾은 RSSI(Received Signal Strength Indicator) 기반의 가시광 중첩을 이용한 실내 측위법을 제안했고, Gregary B et al.⁽¹⁴⁾는 가시광 채널을 통한 스마트 공간 환경에서 신호 강도, 방위각 및 고도를 측정할 수 있는 실내 측위 방법인 Hybrid RSS(Received Signal Strength)/AOA(Angle of Arrival) indoor localization 기법을 제안하였다. 하지만, 상기의 연구 결과들은 주로 실내 환경만을 다루었으며, 실외 환경이나 교통시스템 환경에서 위치를 추정하는 하는 응용분야에 대해서는 고려하지 않았다. B. W. Kim⁽¹⁵⁾에서는 실외 주행 중인 차량의 카메라로 얻어지는 이미지의 2D 좌표값과 Euler Angle 공식을 기반으로 한 공선조건을 활용하여 카메라의 위치를 역 추정 하는 방식을 사용한 실외 측위 연구가 진행되었다. 하지만, 이 기법은 카메라를 통해 촬영된 2D 이미지에 다수의 LED가 존재할 경우 어떠한 방식으로 LED를 선정하여 차량의 위치를 측정해야 하는지에 대해 고려하지 않았다. 앞으로 점점 도로 주변의 인프라가 복잡해져가고, 다수의 LED 조명이 다양한 목적으로 활용될 것이므로, 차량의 측위에 사용될 수 있는 특정한 LED를 선정하는 문제는 앞으로 중요해질 것이다.

본 논문은 VLC 기반 지능형 교통시스템에서 차량에 탑재된 카메라에 촬영된 영상에서 가시광 데이터를 보내는 다수의 LED 표식자들이 검출되었을 경우, 차량의 측위 성능을 높일 수 있는 Farthest point selection 기반 LED 선정 기법을 제안한다. 차량에 부착된 카메라를 이용해 획득한 연속 영상에는 다수개의 LED 표식자가 포함되어 있고, 각각의 절대 좌표 정보를 포함한 가시광 데이터를 담고 있다. 이때, 정확한 위치추정을 위해 카메라 영상 내에 존재하는 다수의 LED 표식자 중 위치추정 성능을 높이도록 LED를 선정하는 Farthest point selection 알고리즘을 제안한다. 이미지의 중심에서 서로 가장 멀리 존재하는 3개의 LED를 선정하여 기하학적 공간 정보를 최대한 활용하도록 하였고, 선택된 광원의 위치정보를 공선조건에 적용하면 차량의 위치를 정밀하게 추정할 수 있다. 컴퓨터 시뮬레이션 결과 본 논문에서 제안하는 Farthest point selection 알고리즘은 랜덤하게 LED를 선정하는 방식에 비해 다양한 영상 해상도 및 광원들과의 거리에서 더 정밀한 위치 추정 성능을 나타냄을 보였다.

본 논문의 구성은 다음과 같다. 2장에서 도로 인프라를 활용한 V2I 가시광 통신 기반 위치추정 기술과 Farthest point selection 알고리즘에 대해 설명하고, 3장에서는 컴퓨터 시뮬레이션으로 제안하는 기법의 성능을 검증한다. 마지막으로 4장에서 결론을 맺는다.

2. 본 론

지능형 교통시스템에서 사용될 수 있는 가시광통신 기반 위치 추정 기술은, 도로 상에 이미 구축되어있는 LED 가로등, LED 신호등, 및 차량의 LED 램프 등을 이용해서 구현된다. 가시광통신 시스템에서 가시광 데이터 수신기로 사용되는 카메라가 차량에 탑재되었을 때, 주행 중에 캡쳐된 2D 영상은 그림 1과 같이 다수개의 LED 인프라들을 포함하게 된다. 가시광선으로 송신되는 LED 광원의 3D 절대좌표 정보들을 차량에 탑재된 카메라를 통해 수신 받음으로써 차량의 현재 위치를 추정할 수 있다. 본 논문의 V2I 가시광 통신 기반 Farthest point selection 위치추정 기술은 도로 주변 LED 인프라에서 가시광선으로 송신되는 광원의 절대좌표를 VLC를 통해 수신 받고, 수신 된 광원들의 2D 영상 내에서의 위치 중 광원 간 거리가 가장 먼 광원 3개를 선택하여 현재 주행 중인 차량의 위치를 정밀하게 추정할 수 있는 기술이다. 제안된 기법을 설명하기 위해 VLC 시스템, 공선조건과 Farthest point selection 알고리즘에 대해 차례대로 설명한다.

그림. 1. V2I VLC 환경에서 도로상에 설치되어 있는 다수의 LED 광원들

Fig. 1. A number of LEDs installed on the road in the V2I VLC environment

2.1 VLC system

VLC는 데이터를 전달하는 매체로 기존의 통신 방식에서 사용되는 RF 주파수를 대신하여 가시광선 주파수를 이용한다. 데이터 송신에 빛을 사용하기 때문에 디바이스들 간의 통신에 간섭이 발생하지 않으며 주파수 허가를 받을 필요가 없어서 통신 인프라 구축을 자유롭게 확장시킬 수 있는 장점이 있다. 그림 2는 기본적인 VLC 송수신 시스템 구조를 나타낸다.

그림. 2. 기본적인 VLC 시스템 구조

Fig. 2. Basic VLC system configuration

송신단에서는 전달하고자 하는 정보 데이터를 LED를 통해 무선으로 전송될 수 있도록 가시광 통신 표준에 맞게 변조된다. 가시광통신에서 사용되는 변조방식은 Manchester coding, 4B6B, 8B10B 등의 라인코딩 방식이 사용되는데, 사람의 눈은 연속적인 신호레벨이 일정 시간 유지되면 신호레벨이 바뀔 때 flicker를 인지하게 되므로 이를 방지하기 위해 라인코딩 방식 기반의 변조 기법을 사용해야 한다. LED 드라이버에서는 무선으로 광신호를 방사하는데 사용되는 LED의 구동 전력에 따라 DC-Bias를 조절하여 디지털 신호를 증폭시켜준다. LED 소자의 빠른 스위칭 기능을 통해 디지털 신호 크기에 따라 on-off 패턴으로 가시광 데이터를 가시광 데이터를 무선으로 송신함으로써 통신이 가능하게 된다. 가시광 데이터를 수신할 수 있는 위치에서, 사람의 눈은 대략 100Hz 이상의 주파수로 깜빡이는 LED 에 대해 flickering을 인지하지 못하고 평균 DC-Bias 의 밝기를 가지는 일반 조명처럼 인식하게 된다. 하지만, 카메라나 PD(Photo detector)를 수신단에서 사용할 때 광신호의 레벨 변화에 의해 flickering이 인지가 되므로, 연속적으로 수신된 정보를 분석하여 송신단에서 제공한 on-off 패턴을 검출하여 디지털 데이터를 복조할 수 있다.

2.2 VLC light source extraction

터널, 도심지역, 고속도로 등에서 주행 중인 차량에서 촬영된 영상 안에는 절대 좌표를 송신하는 LED 광원뿐만 아니라 도로 주변에 존재하는 자연광, 반사광 등 다양한 가시광원들이 포함될 수 있다. 그러므로 가시광 통신 시스템의 수신단에서 가시광 데이터만을 검출해내기 위해서는, 캡쳐된 이미지로부터 절대 좌표 정보를 포함하는 LED 광원만 추출하는 과정이 선행되어야 한다. 이를 위해 그림 3과 같이 연속적으로 획득한 이미지 4장을 가져온 후 차분 영상을 활용하여 가시광 데이터를 전송하는 도로변의 신호등, 가로등 영역만 검출한다. 획득된 영상을 각각 Red, Green, Gray, Value 채널로 나누고 LED광원 추출을 위한 영상처리 과정을 거치게 된다. 칼라 영상에서의 Blue 채널은 Red 채널과 Green 채널에 비해 상대적으로 영상 배경 색상이 강하게 나타나므로, 광원을 추출하는 과정에서 잡음이 많이 발생할 수 있는 이유로 제외하였다.

그림. 3. 수신된 영상으로부터 LED 광원을 추출하기 위한 영상처리 과정

Fig. 3. Image processing for LED extraction from received images

Gray 채널과 Value 채널은 밝기 및 명도를 나타내는 영상값으로 가시광통신에서 LED의 on-off 차이를 나타내는데 효과적이므로, 광원 추출을 위해 Blue 채널을 제외하고 Red, Green, Gray, Value를 사용하였다. 특히, Red와 Green 채널은 주로 신호등의 적색, 녹색 밝기 정보를, Gray 채널과 Value 채널은 가로등의 백색 밝기 정보를 받아내는데 효과적이다. LED로부터 전송되는 가시광 데이터 신호는 on-off 패턴을 가지고 있으므로 연속적으로 수신된 몇 개의 이미지를 차분하면 가시광 데이터를 송신하는 LED광원을 제외한 배경 및 클러터의 대부분이 제거가 된다. 그 다음, 차분 이미지(Differential image)를 일정한 임계값(Threshold value)을 통해 이진화(Binarization) 작업을 해준 후 채널별로 분리된 영상을 다시 병합해줌으로써 가시광 데이터를 전송하는 LED 광원부분만을 영상내에서 추출해낼 수 있다.

광원추출에 사용되는 수신 영상은 주행 중인 차량에서 획득되므로, 영상 이진화 과정에서 불가피하게 발생하는 영상 잡음들을 침식과 팽창 작업을 통해 제거해주면, VLC 광원 만을 포함한 서브 이미지들을 얻어낸다. 이렇게 얻어낸 서브 이미지들을 각각 시간 순서대로 모은 다음 박스 영역 내의 평균 픽셀값을 통해 LED 광원에서 보낸 정보가 on인지 off 인지 구분하여 가시광 신호를 복조해낸다.

2.3 Collinearity condition

카메라에서 획득한 2차원 이미지를 통해 차량의 3차원 위치를 추정하기 위해서는 최소한 3개 이상의 LED 광원으로부터 받은 3차원 절대좌표 정보가 수신되어야 한다. 이 정보들을 활용하여 공선조건(Collinearity condition)을 만족하는 좌표계에서 3차원 공간과 2차원 이미지를 서로 연결해줌으로써 차량에 부착된 카메라의 위치를 추정할 수 있다⁽¹⁵⁾. 여기서 공선조건이란 3차원 공간과 2차원 이미지와 카메라 중심이 일직선으로 존재해야하는 조건을 의미한다.

그림. 4. 3차원 공간에서의 공선 조건

Fig. 4. Collinearity condition in 3D coordinates

그림 4에서 볼 수 있듯이, Projection center (PC) 인 $(X_{0},\:Y_{0},\:Z_{0})$ 와 카메라 영상내의 $l(x_{l},\:y_{l})$ 를 거쳐 Real space에서의 물체 좌표인 $L(X_{L},\:Y_{L},\:Z_{L})$ 이 동일 선상에 존재해야한다. 이러한 공선조건을 활용하면 2차원 이미지와 물체의 3차원 좌표 값으로부터 3차원 공간의 카메라 위치를 추정 할 수 있다. 3차원 공간상의 좌표축은 $X,\:Y,\:Z$ 로 나타내고, 2차원 이미지의 좌표축은 $x,\:y$ 로 나타낸다. 그림 4에서 카메라 영상내의 점 $b$는 PC를 기준으로 3차원 공간에 존재하는 점 $B$ 가 투영된 것임을 알 수 있다. 3차원 공간 내에 존재하는 각 좌표점은 식(1)과 같이 나타낼 수 있다.

(1)

$PC =[0,\: 0,\: f_{c}]=[X_{0},\:Y_{0},\:Z_{0}],\:b=[x_{b},\: y_{b},\:0],\:B=[X_{B},\: Y_{B},\: Z_{B}]$

여기서 $f_{c}$는 카메라의 초점 거리를 의미하며, 점 $b$에서 PC까지의 벡터 $\vec{b}$와 점 $B$에서 PC까지의 벡터 $\vec{B}$는 다음 식(2)와 같이 표현된다.

(2)

$\vec{b}=[x_{b,\:}y_{b,\:}-f_{c}],\:\vec{B}=[X_{B}-X_{0},\: Y_{B}-Y_{0},\: Z_{B}-Z_{0}]$

공선조건을 만족하기 위해서는 3차원 공간에 존재하는 좌표를 3차원 회전 변환 행렬을 통해 2차원과 3차원 좌표를 동일선상으로 정렬해야 한다. 회전 변환 행렬을 구성하기 위해 사용되는 회전변환 변수들은 그림 5에서 $\theta ,\:\phi ,\:\psi$로 나타내었고, 각각의 변수는 각각 $Z,\:Y,\:X$ 축의 회전각을 의미한다. 이때, 각 회전축의 변환은 Euler angle을 적용하였고, 각 축의 회전 변환 행렬식은 식(3)과 같이 표현된다.

(3)

$$\begin{align*} X_{rotation}\to\begin{bmatrix}1&0&0\\0&\cos\psi &-\sin\psi \\0&\sin\psi &\cos\psi\end{bmatrix}\\\\ Y_{rotation}\to\begin{bmatrix}\cos\phi &0&\sin\phi \\0&1&0\\-\sin\phi &0&\cos\phi\end{bmatrix}\\\\ Z_{rotation}\to\begin{bmatrix}\cos\theta &-\sin\theta &0\\\sin\theta &\cos\theta &0\\0&0&1\end{bmatrix} \end{align*}$$

그림. 5. 3차원 회전 변환 변수

Fig. 5. 3D rotational transformation variable

본 논문에서는 회전 변환 행렬의 회전 순서를 $Z,\:Y,\:X$ 축의 순서로 정하였고, 그 결과 회전 변환 행렬식 $M_{R}$은 식(4)로 정리된다.

(4)

$M_{R}=\begin{bmatrix}\cos\theta & -\sin\theta & 0\\\sin\theta &\cos\theta & 0\\0& 0& 1\end{bmatrix}\begin{bmatrix}\cos\phi & 0&\sin\phi \\0& 1& 0\\-\sin\phi & 0&\cos\phi\end{bmatrix}\begin{bmatrix}1&0&0\\0&\cos\psi & -\sin\psi \\0&\sin\psi &\cos\psi\end{bmatrix}$

$M_{R}$행렬내의 각 원소는 아래 식(5)와 같이 표현된다.

(5)

$$\begin{align*} M_{R}=\begin{bmatrix}M_{11}&M_{12}&M_{13}\\M_{21}&M_{22}&M_{23}\\M_{31}&M_{32}&M_{33}\end{bmatrix}\\ \\ =\begin{bmatrix}\cos\theta\cos\psi &\cos\theta\sin\phi\sin\psi -\sin\theta\cos\psi &\cos\theta\sin\phi\cos\psi +\sin\theta\sin\psi \\\sin\theta\cos\phi &\sin\theta\sin\phi\sin\psi +\cos\theta\cos\psi &\sin\theta\sin\phi\cos\psi -\cos\theta\sin\psi \\-\sin\phi &\cos\phi\sin\psi &\cos\phi\cos\psi\end{bmatrix} \end{align*}$$

위의 수식을 바탕으로 벡터 $\vec{B}$와 벡터 $\vec{b}$에 대한 관계식을 식(6)과 같이 정의할 수 있다.

(6)

$\vec{b}=\sigma M_{R}^{T}(\psi ,\:\phi ,\:\theta)\vec{B}$

여기서 $\sigma$는 scaling parameter이다. 식(6)을 다시 $x_{b}$와$y_{b}$로 정리하면 식(7)과 같이 표현된다.

(7)

$\begin{bmatrix}x_{b}\\ \\y_{b}\end{bmatrix}=\begin{bmatrix}-f_{c}\dfrac{M_{11}(X_{B}-X_{0})+M_{12}(Y_{B}-Y_{0})+M_{13}(Z_{B}-Z_{0})}{M_{31}(X_{B}-X_{0})+M_{32}(Y_{B}-Y_{0})+M_{33}(Z_{B}-Z_{0})}\\ \\-f_{c}\dfrac{M_{21}(X_{B}-X_{0})+M_{22}(Y_{B}-Y_{0})+M_{23}(Z_{B}-Z_{0})}{M_{31}(X_{B}-X_{0})+M_{32}(Y_{B}-Y_{0})+M_{33}(Z_{B}-Z_{0})}\end{bmatrix}$

본 논문은 총 3개의 광원을 수신된 영상으로부터 선정하기 때문에 식(7)을 이용하면 총 6개의 식을 도출해 낼 수 있다. 이때, 실제 카메라가 부착된 차량의 위치를 연립방정식을 통해 풀기 위해서는 일반적인 역행렬을 이용해서는 해를 구할 수 없다. 따라서 본 논문에서는 pseudo inverse matrix를 구해 3차원 공간에서 카메라의 위치를 추정한다.

2.4 Farthest point selection

공선조건을 통한 위치추정에 있어서 중요한 점은 2차원 이미지 내에서 광원들 사이의 거리가 위치추정 정확도와 밀접한 관계가 있다는 점이다. 3차원 공간에서 3개의 직선이 만나는 지점을 바탕으로 카메라의 위치가 추정되는데, 보다 넓은 기하학적 정보를 활용하는 것이 더 정확한 위치 추정 결과를 이끌어낼 수 있다. ⁽¹⁵⁾에서는 수신 이미지에 광원이 3개 존재할 경우만을 고려하였으며, 3개 이상의 광원이 존재할 경우에 대해서는 방법을 제시하지 않았다. 만약 다수개의 광원이 수신 이미지에 포함될 때 상호 거리가 비교적 가까운 광원을 3개 선택하여 위치를 추정하는 경우, 매우 좁은 기하학적 정보를 이용하여 카메라의 위치를 추정하므로 상대적으로 큰 위치 추정 오차가 발생할 수 있다. 따라서 본 논문은 2차원 이미지에 존재하는 다수의 광원들 중 위치추정 오차를 줄일 수 있는 최적의 광원을 선택하는 Farthest point selection 기법을 제안한다.

Farthest point selection기법은 그림 6과 같이 2차원 이미지에 존재하는 여러 광원들 중 어떤 3개의 광원들을 연결하였을 때 나타나는 삼각형의 넓이가 가장 크도록 광원을 선택하는 방법이다. 즉, 선택한 광원의 분포가 넓게 존재할수록 값의 차이가 크게 나는 절대좌표 정보를 사용하기 때문에, 넓은 기하학적 정보를 바탕으로 상대적으로 정확한 위치를 추정할 수 있게 된다.

그림. 6. Farthest point selection의 기본 원리

Fig. 6. Fundamental principles of the Farthest point selection

Farthest point selection 기법의 순서는 다음과 같다. 그림 6의 예에서는 총 8개의 LED 광원이 포함되어 있는 영상을 고려하여 각 광원의 중심점을 $P_{1}\sim P_{8}$ 으로, 원점을 $P_{0}$ 으로 가정하였다. 그림 6(a)와 같이 2차원 이미지의 중심인 $P_{0}$에서 가장 멀리 위치한 광원을 하나 선택한다($L_{1}$). 그 다음 그림 6(b)와 같이 $L_{1}$과 가장 멀리 존재하는 광원을 두 번째 광원으로 선택한다($L_{2}$). 그림 6(c) 에서는 나머지 광원들 중에서 $L_{1}$과 $L_{2}$ 모두에서 가장 멀리 존재하는 점을 세 번째 광원을 선택한다. 이러한 순서대로 세 점을 얻으면 그림 6(d)와 같이 영상의 중심에서 가장 멀리 떨어져있는 광원 세 개를 선택할 수 있다. 이 방식을 통해 얻은 세 개의 LED광원의 좌표정보를 공선조건에 입력으로 넣어 위치추정을 수행하면 보다 넓은 기하학적 공간의 정보를 활용하면서 정확한 위치추정이 가능해진다. 그림 7에서는 Farthest point selection기법에 대한 알고리즘 설명을 나타내었다.

그림. 7. Farthest point selection 알고리즘

Fig. 7. Farthest point selection algorithm

3. Simulation results

그림. 8. 가시광 통신 기반 V2I 측위 시뮬레이션 환경

Fig. 8. Visual Light Communication Based V2I Scope Simulation Environment

그림. 9. 이미지 픽셀 개수에 따른 위치 추정 오차 (a) Farthest point selection (b) Random point selection

Fig. 9. Positioning error depending on the number of pixels (a) Farthest point selection (b) Random point selection

그림. 10. X축 이동에 따른 위치 추정 오차 (a) Farthest point selection (b) Random point selection

Fig. 10. Positioning error depending on the moving location along the X axis (a) Farthest point selection (b) Random point selection

4. 결 론

본 논문에서는 V2I시스템에서 광 카메라 통신 기술을 활용하여 다수의 LED 광원이 존재하는 환경에서 정밀 측위가 가능한 Farthest point selection기법을 제안하였다. 3D 공간에 있는 광원의 절대 좌표와 이미지에 맺힌 광원의 2D좌표를 바탕으로 공선 조건을 활용해 차량의 위치를 추정하였으며, 다수의 광원들이 캡쳐 된 영상 내에 존재할 때 차량의 정밀 위치추정을 위해 세 개의 광원을 선정할 수 있는 Farthest point selection 알고리즘을 설명하였다. 시뮬레이션 결과 캡쳐된 이미지에 포함된 다수의 LED 광원 중에서 랜덤하게 광원을 선택하여 위치 추정을 하는 경우 보다 Farthest point selection 기법을 사용한 경우에 더 정밀한 위치 추정이 가능하고, 저해상도의 카메라를 활용하여도 1m이내의 위치 추정이 가능함을 확인하였다.