백의현
(Eui-Hyun Baek)
1
김대은
(DaeEun Kim)
†iD
-
(School of Electrical and Electronic Engineering, Yonsei University, Korea.)
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Linear Polarization, Multi-point samples, Polarization angle, Biomimetic Approach, Phase and Magnitude
1. 서 론
약육강식의 생태환경에서 생존하는 생물들은 자신들만의 특화된 방법으로 생을 살아간다. 천적으로부터 보호하기 위해 보호색을 띈다거나, 무리지어 다니며
자신 또는 종족을 지킨다. 또한, 자신들이 생활할 집을 자신들의 고유한 방법으로 짓고, 먹이를 먹으며 살아간다. 인간 보다 수천, 수만 배 작은 곤충들의
생존방식에 대한 연구가 끊임없이 이루어지고 있다.
편광을 사용하여 생활하는 곤충들이 있다면 생소하게 느껴질 수 있다. 이러한 곤충들은 생물학자들에 의해 행동 메커니즘이 밝혀져 왔다. 대표적으로 사막개미
(Cataglyphis)가 있다 (1). 개미의 내비게이션 방법에는 페로몬이나 태양의 위치와 각도, 주변의 주요 지형 또는 지물을 이용한다. 사막개미는 편광을 이용할 수 있는 눈의 구조를
가지고 있다 (2)(3). 이 눈은 홑눈이 수만 개가 모여 복안으로 이루어지며 편광을 수용할 수 있는 영역이 따로 존재한다 (2)(4). 사막개미 뿐만 아니라 갯가재, 농게, 쇠똥구리, 꿀벌 등이 편광을 사용하여 생활을 한다고 알려져 있다 (5)(6)(7).
편광 이미지를 통해 차도에서의 물체 (차량, 사람) 감지를 향상 시키는데 도움을 주고 있다. 편광 이미지와 딥 러닝 알고리즘 (Deep Learning
Algorithm)을 결합하여 물체 인식(Object Detection)을 한다 (8). 편광 각도 (Angle of Polarization) 및 편광도 (Degree of Polarization)에 대한 평가가 중요한 역할을 한다.
물체 인식에 사용되는 편광 이미지는 0도, 45도 90도를 사용하여 AoP (편광 각도) 계산을 한다.
편광 이미지를 이용하여 최근 여러 방면의 연구가 진행 되고 있다. 물체 인식, Crack 검출, 영상의 재구성, 날씨 정보 등에서 직접 적용 가능한
연구가 진행되기도 한다. AoP이미지와 Artificial Neural Networks을 통해 태양 고도에 따른 편광 패턴을 분석한 실험도 있었다
(9). 10도, 60도, 130도를 사용하여 Angle of Polarization, Degree of Polarization을 계산한 결과를 바탕으로
network를 구성하여 새롭게 표현하는 방식에 대한 연구가 진행 되었다.
광(편광)은 간섭과 산란된 입자들을 통해 진행이 되기 때문에 실시간으로 어떤 물체에 대한 변화 및 손상도를 파악하기 힘들다. 하지만, 이와 같은 문제를
해결하고자 최근에 연구가 진행되었다. 3개의 선형 편광 필름과 하나의 원형 편광 필름을 이용하여 복합재료의 손상도를 실시간으로 검출하는 방법을 제공하며,
다른 강한 빛의 간섭에도 검출 및 식별을 위한 방법을 위한 연구가 진행되었다 (10).
최근 SWIR(Shortwave Infrared)의 카메라에 대한 인지도가 높아지고 있고, SWIR(Shortwave Infrared)의 영상의 해상도를
높이기 위해, 이미지 재구성 방법이 사용되었는데, SWIR 영상에서 편광 정보를 잃지 않고 가시 영상의 정보를 기반으로 SWIR 영상을 고해상도로
재구성하는 방법이 연구되었다 (11).
안개가 있는 날에 항공기가 도심을 지날 때, 항공기 광도를 정확하게 예측하게 예측하고 물체에 대한 정확한 정보를 제공하는 연구가 진행되었다 (12). 흐릿한 이미지에서 편광 측정을 향상시키는 것을 목적으로 진행되었다. AoP (Angle of Polarization)와 DoP (Degree of
Polarization)의 식을 이용하여 물체에 대한 영역을 좀 더 부각 시켜 물체에 대한 정보를 좀 더 정확하게 추출하는 방법을 사용하고 있다.
Stokes Parameter 정의에서 원형 편광에 해당하는 부분은 계산하지 않으며 흔히 선형 편광인 부분의 성분만을 추출하여 계산을 한다. 실외에서
선형 편광은 날씨에 따라 관계가 있음이 알려져 있다. 편광 정보를 이용하여 흐린 날, 맑은 날, 구름이 많이 있는 날 등을 알 수 있다 (13).
AoP (Angle of Polarziation)를 인간의 시각 감각에 적합하게 데이터 시각화를 하는 방법에 대한 연구가 진행 되었다 (14). 기존 방법에서는 HSV(Hue, Saturation, Value)이미지 표현을 통해 나타낸 방법이라면, AoP에 대한 계산값들을 R,G,B 각각
정규화를 하고, HSI에 각각의 값을 적용한다. 기존에는 H에 AOP, S에 최대값, V에 DoP를 적용한다면, H에 AoP, S에 최대값, I에
DoP를 적용하여 나타낸다. 기존 방법에서 발생하는 노이즈(Noise)를 줄인 AoP 이미지를 나타낼 수 있다.
본 연구진은 기존 방식의 기초적인 배경과 구현 방법을 기반으로, 단일 카메라로 많은 선형 편광 이미지를 취득하는 새로운 접근을 시도하였다. 기존 방법에서
익히 알고 있는 특성은 이 새로운 방법에서도 나타나며 그 특성이 잘 맞는지 확인을 하였다. 이 논문에서는 다양한 형태의 빛에 따른 편광 특성을 얼마나
효과적으로 찾아낼 수 있는지에 대하여 살펴보고, 수십 장 이상의 편광 이미지 해석을 위한 이론적인 배경도 제시한다.
2. 기존방법의 Simulation 방법
편광을 나타내는 대표적인 방법에는 E-vector(Electric Vector), AoP(Angle of Polarization), DoP(Degree
of Polarization)가 있다. E-vector(전자벡터)는 하늘에서 나타나는 편광 특성을 나타낸다. AoP는 편광각(도)를 의미하고, DoP는
편광량을 의미한다 (15).
편광이 하늘에서 일어나는 현상을 계산식을 통해 표현할 수 있는데, E-vector는 편광 방향을 벡터화해서 나타낸 것이다 (3). 그림 1은 E-vector의 2D, 3D상에서 나타나는 현상을 본 연구진이 나타낸 그림이다. 태양을 중심으로 원을 그리는 모습을 나타낸다. 그림 1의 태양 고도가 53도일 때의 편광 현상을 보여준다. 편광을 나타낸 E-vector는 천정을 중심으로 대칭적으로 일어난다. 즉, 지구 반대편에서도
같은 현상으로 나타난다 (16). 그렇기 때문에 일정한 패턴으로 형성되는 것을 그림 1에서 확인 할 수 있다.
그림. 1. E-vector 표현
Fig. 1. E-vector representation
AoP와 DoP는 Stokes Parameter를 통해 정의된다. AoP와 DoP를 정의하는 식은 다음과 같다 (17)(18)(19).
여기서 I 는 이미지 밝기를 나타내며 아래 숫자는 편광 필름 각도를 의미한다. 즉, 편광 필름의 각도에 맞게 나온 이미지를 식(1)과 같이 계산을 한 후, (2),(3)과 같이 AoP (Angle of Polarization)와 DoP (Degree of Polarization)를 계산한다 (20)(21).
기존 방법은 AoP와 DoP 측정을 하기 위해서 4개의 카메라와 편광 필터를 사용한다. 카메라 4개 앞에 편광 필름을 각도에 맞게 배치한 후 동시에
촬영을 한다 (15). 흔히 CCD 카메라를 사용하여, 해상도가 높은 이미지를 얻도록 한다 (22). 저장된 이미지를 식(1),(2),(3)을 통해 계산을 하고, 계산된 이미지를 HSV (Hue, Saturation, Value) 이미지 표현으로 나타낸다 (23)(24). 다시 말하면, HSV에서 편광 각도를 의미하는 AoP 값은 H에 대입하며, DoP에 해당 하는 값을 V에 대입하여 나타낸다 (15).
E-vector는 시뮬레이션을 통해 알아볼 수 있지만, AoP와 DoP는 편광 필터를 통한 이미지들의 조합으로 이루어지기 때문에 실질적인 실험을 위해
다수의 카메라와 필터가 필요하며, 같은 장소의 사진을 찍어야 하는 점으로 인한 카메라 Calibration이 필요하다. 또한, 고가의 장비가 필요하기
때문에 높은 가격이 요구된다. 가격적인 측면이나, 하드웨어 구성 복잡도를 해결하고자 본 논문에서 새로운 방법을 제안한다.
3. 의 변동에 따른 제어성능
3.1 실험 환경
본 실험은 자연광에서 얻어지는 편광 특성을 실내에서 환경을 만들어 실험을 진행하였다. 실내에 들어오는 자연 빛은 창문을 통해 실내로 들어와 굴절이나
반사하기 때문에 편광 필름을 통해 LED 빛만을 수용할 수 없다. 그렇기 때문에 실내로 들어오는 빛을 차단 해주고 어두운 환경 속에서 LED 빛을
밝혀 실험을 진행 하였다. 하늘을 반사판으로 삼아 편광을 보는 것처럼 스티로폼 벽을 세워 반사판으로 사용하여 실험을 진행하였다. 벽을 두고 앞에 물체(큐브)를
두고 실험을 진행하였다.
3.2 하드웨어 구성
카메라(Webcam) 앞에 편광 필름을 0도로 배치한다. 카메라 아래 부분에 LED를 놓고 LED 앞에 편광 필름 각도를 0도 방향으로 배치하여 물체(큐브)에
편광 빛이 0도로 비추게 한다. 카메라 앞에 편광 필름은 플라스틱 키트로 제작된 톱니 두 개를 돌려 0도부터 180도까지 돌릴 수 있게 제작하였다.
그림 2에 보이는 것처럼, Servo 모터로 톱니를 회전하여 다양한 편광
그림. 2. 하드웨어 구조
Fig. 2. Hardware structure
각도를 만든다. 기존 방법에서는 카메라 4대를 이용한 편광 특성 추출이 있지만, 1대의 카메라로 편광 특성을 추정할 수 있다. 기존 방법과는 다르게
본 연구진은 카메라 시야를 넓힐 수 있는 확대 렌즈는 사용하지 않았다.
3.3 소프트웨어 구성
하드웨어 구동은 Matlab 2017a를 사용하여 구동하였다. Matlab를 이용하여 사진 촬영을 하게 되면 디폴트 값이 있어 빛의 세기가 달라져도
계속 같은 환경을 유지하려고 하기 때문에 ’Manual’로 세팅을 바꿔주고 실험을 진행하였다. 3가지 부분인 Exposure, Brightness,
White balance의 값들을 고정된 값으로 촬영을 하였다.
기존 방법에서는 카메라 한 대에 대한 Calibration, 빛 조절, 카메라와 이미지에 대한 넘버링 등을 카메라 4대에 똑같이 적용을 해야 한다.
카메라 Calibration이 필요한 이유는 4개의 카메라가 정확하게 같은 곳을 촬영하여야 하며, 편광 필름의 각도만 다르게 촬영이 되어야 하기 때문에
Calibration이 필요하다. 이 작업은 사용자 개개인의 역량에 따라 시간의 유동성이 있을 것으로 판단된다. 하지만, 본 연구진의 방법에서는 Calibration이
필요 없을 뿐만 아니라 빛 조절 하는 방법은 아주 간단하게 명시되어 있다. 물리적인 시간 비교는 할 수 없지만, 편광 실험을 하기 위한 준비 작업은
기존 방법보단 짧은 시간 안에 마칠 수 있다.
3.4 기존 방법의 AoP와 DoP 표현 방법
식(1),(2),(3)은 카메라 4대를 이용한 센서 측정에 기반을 두고 유도된 식이다. 하지만, 본 연구진은 카메라 4대를 사용하지 않고 카메라 한대를 이용하여 모든 편광
각도를 수용할 수 있기 때문에 카메라 4대에 대한 보정을 해줄 필요가 없다. 본 논문에서는 AoP (Angle of Polarization)와 DoP
(Degree of Polarization)를 시각적으로 표현하기 위해 H (Hue), S(Saturation), V(Value) 색 표현 방법을
사용하였다. AoP 와 DoP를 나타내는 각각의 방법은 다음과 같다.
AoP와 DoP를 이미지로 표현하기 위하여 정규화 작업이 필요하다. 이를 맞추어 주기 위해 다음과 같이 정규화를 하였다. AoP의 범위는 0도에서
180까지 표현된다. 위에서 설명한 바와 같이 AoP 이미지를 보면 편광 각을 색으로 표현되어 있는 것을 볼 수 있다.
4. 방 법
4.1 멀티 포인트 방법을 이용한 새로운 방법
본 논문에서는 Angle of Polarization (AoP)와 Degree of Polarization (DoP)를 다르게 표현하는 방법을 고안하였다.
편광 필름은 편광 필름에 알맞는 각도로 들어오는 빛을 투과 시킨다. 다시 말하면, 편광자의 축과 맞지 않는 빛을 걸러낸다. 0도에서 180도까지 투과되는
빛은 편광자의 축이 이루는 각과 동일하다고 볼 수 있다. 이와 같은 특성 때문에 0도에서 180도로 투과되는 빛은 가우시안 분포를 따르게 된다.
하지만, 선행 연구되었던 4가지 각도 (0도, 45도, 90도, 135도)를 사용하여 실험을 진행하고 AoP와 DoP 결과도 비교하였다.
4가지 각도에 대한 이미지의 밝기는 π/2만큼 차이가 나야한다. 하지만, 실외, 실내 및 정해지지 않은 장소에서 정보를 취득해야 하는 점 때문에,
노이즈(Noise)에 민감하다. 이와 같은 문제를 보완하기 위해 이산 푸리에 변환(Discrete Fourier Transform, DFT)에서 사용하는
Phase 와 Magnitude 구하는 방법을 사용한다. 이는 하나의 회전 또는 사이클에 해당하는 기본 주파수 내의 각 위상과 그 크기를 측정하는
문제와 같다 (25-26). 또한 이것은 population coding 방법과 유사한 면을 갖고 있다 (27). 본 연구진은 편광자의 각도를 0도에서 180도까지 회전을 하여 모든 각도에 대한 이미지를 얻었으며, 총 180개의 이미지를 이용, 해당 위상(phase)과
크기(magnitude)를 계산하는데, 이는 AoP와 DoP 계산과 일치한다. 이산 퓨리에 변환의 식은 다음과 같다.
즉, 식이 위와 $a_{n}$과 $b_{n}$를 I(x,y)의 성분으로 볼 수 있다. I 는 편광 필름을 통과해 얻어진 이미지를 나타낸다. 이 같은
방법으로 본 연구진의 방법에 맞게 다음과 같이 식을 변형하였다.
여기서 변수 t는 편광 필름의 각도를 의미한다. x,y는 이미지의 픽셀을 의미한다. 누적된 x와 y의 값을 이용하여 위상(phase)과 크기(Magnitude)로
다음과 같이 나타낸다.
식(2),(3)과 식(13),(14)와 유사함을 볼 수 있다. Magnitude와 Phase를 AoP (Angle of Polarziation)와 DoP (Degree of Polarization)에
맞춰주기 위하여 Phase에는 1/2을 곱하여 주고 Magnitude는 이미지의 크기에 맞게 생성된 행렬 안에서 가장 큰 값으로 나누어 준다. 이와
같은 과정을 마치고 난후, Phase는 AoP 정규화 작업을 식(6)과 같이 한다. Phase가 의미하는 것은 결국 AoP와 다를 게 없이 각도를 반환한다. 즉, 기존 방법은 4장의 이미지를 사용하여 AoP와 DoP를
나타내지만, 새로운 방법에서는 180장의 이미지를 가지고 AoP와 DoP를 대체할 Magnitude와 Phase로 나타낸다. 사용하는 식의 차이는
0도, 45도, 90도, 135도를 식(1)과 같이 90도의 차이를 보이는 값들로 AoP를 나타내지만, 새로운 방법은 0도에서부터 179도까지 사용하여 모든 각도에 대한 정보를 반영한다.
4.2 기존 방법과 새로운 방법 비교
카메라(Webcam) 1대를 사용하여 나타낸 AoP 이미지에서는 그림 3에서 보는 바와 같이 노이즈(Noise)가 많이 있는 모습을가장 간단한 Mean-Filter을 사용하여 보았지만, 전반적으로 배경이 단색으로 나오는
경향을 보였지만, 물체의 경계선을 구분
그림. 3. 기존 방법의 AoP 이미지
Fig. 3. AoP image of existing methods
짓기 어려울 정도로 이미지가 흐릿하게 보이는 현상을 볼 수 있었다.
새로운 방법(멀티 포인트)을 사용한 이미지는 그림 4와 같다. 그림 4에서 보는 이미지는 새로운 방법 (멀티 포인트 기반 방법)을 사용하여 나타낸 Phase 이미지이다. HSV(Hue, Saturation, Value)
이미지 표현할 때 AoP (Angle of Polarization)와 같은 방법으로 표현을 해 주었다. 4개의 이미지, 즉 한 픽셀당 4개의 각도로
이루어진 계산 값으로 나타내기 떄문에 모든 정보를 사용하지고 못하고 4개의 각도로 표현하기 때문에 노이즈(Noise)가 생길 수도 있으며, 해당 실험
환경 촬영에서어두운 부분에 대한 노이즈가 생길 수도 있다.
그림. 4. 멀티 포인트 방법을 사용한 Phase 이미지
Fig. 4. Phase image using multipoint method
노이즈가 얼마나 개선이 되었는지 확인 작업이 필요하다. 이를 확인하기 위하여 SSIM (Structural Similarity Index)와 SNR
(Signal to Noise Ratio)를 이용하였다. 새로운 방법의 이미지를 이상적인 이미지로 가정하고, 기존 방법과 유사도 비교를 하였다. 이미지의
샘플 개수가 많아짐에 따라 180장의 이미지를 사용한 것에 대한 유사도 측정을 하였다. 이미지 개수의 선택은 180장의 약수로 다변화하여 유사도 비교를
하였다. 기존 방법은 4개이지만, 개수를 점차 증가한 멀티 포인트 방법을 테스트하였고, 180장의 이미지를 사용한 것과 비교를 한 결과는 그림 5, 6과 같다. 이미지 20개를 사용한 시점부터 값들이 커지는 현상을 볼 수 있으며 20개 이상을 사용한 이후부터 노이즈(Noise)가 줄어드는 현상을
보게 된다. 즉, 이미지 유사도가 이미지 샘플수가 많아질수록 180개를 사용한 결과와 유사해 진다는 것을 알 수 있다.
표 1에서 보는 수치들이 나타낸 값들은 멀티 포인트 방법을 참조 이미지로 두고 180의 약수로 사용한 이미지의 유사도 비교 값이다. 기존 방법과 멀티 포인트
방법을 SSIM(Structural Similarity Index)과 SNR(Signal to Noise Ratio)로 유사도 판별에 대한 기준이
요구되고, 멀티 포인트 방법(180장)을 사용한 이미지가 정답이 될 수 있는가에 대한 증명이 필요하다. 이를 확인하기 위하여 편광 필름을 임의의 각도로
두고 실험을 진행하여 기존 방법의 이미지에서 나온 값과 180장의 사진에서
그림. 5. SSIM 그래프
Fig. 5. SSIM Graph
그림. 6. SNR 그래프
Fig. 6. SNR Graph
나오는 값을 비교하였다. 비교하는 방법은 편광 필름을 임의의 각도로 부착시키고 편광 각도 추정 실험을 진행 한 후 편광 필름의 영역의 각도 평균을
구하여 실제 값을 참조하여 기존 방법과 멀티 포인트 방법을 비교 하였다. 영역 내의 평균 값을 편광 필름의 이상적인 각도로 하여, 기존 방법과 멀티
포인트 방법의 비교가 진행되었다.
표 1. 이미지 샘플수에 따른 180장을 사용한 이미지 유사도
Table 1. Image similarity depending on the number of image samples
그림 7은 벽면에 연구진이 임의로 편광 필름을 두고 멀티 포인트 방법으로 나타낸 Phase 이미지이다. 녹색 계열의 색은 편광 45도를 예상 할 수 있으며,
그 영역의 평균값은 43.09도로 나타난다. 약 45도 값을 갖는 부분에 대한 영역을 기존 방법과 180의 약수로 사용한 개수로 나타낸 값들과 유사도
분석을 하였다. 45도로 예상이 되었지만, 실제 값은 43.09도를 이루고 있는 것을 확인 할 수 있었다.
그림. 7. 편광 필름을 부착한 벽면의 이미지
Fig. 7. An image of a wall attached with polarizing films
그림 8, 9에서 보는 바와 같이 43.09도를 이용한 SNR (Signal to Noise Ratio)과 SSIM (Structural Similarity Index)에서
멀티 포인트 방법을 이용한 값이 가장 유사한 결과를 가져온 것으로 보아 멀티 포인트 방법이 기존 방법보다 이상적인
그림. 8. SNR 그래프
Fig. 8. SNR Graph
그림. 9. SSIM 그래프
Fig. 9. SSIM Graph
값에 가까워지는 것을 볼 수 있다. 이로써 기존 방법을 대체할 새로운 방법이 노이즈(Noise)에 강인함을 볼 수 있다.
본 제안 방법의 촬영 시간과 계산 시간은 기존 방법에 비하여 현저하게 느리다. 편광 측정을 위해 4대의 카메라를 사용한 방법 (3) 의 촬영 시간은 동시에 한 장의 사진을 촬영하고, 4개의 이미지로 편광 측정을 한다. 본 연구진의 방법에서는 180장의 이미지를 촬영하는데 약 10분이
소요된다. 기존 방법의 계산시간은 약 5초, 본 연구진의 방법의 계산시간은 약 24초가 걸린다. 사진의 용량(메모리)에서 또한 4장의 이미지는 425KB,
180장의 이미지는 20MB으로 차이가 난다. 이와 같이 기존 방법과 본 연구진의 방법에서 촬영 시간, 계산 시간, 용량에서는 차이가 난다. 그러나
카메라 비용을 줄일 수 있고, 위에서 본 SNR 비는 4장의 사진의 결과보다 편광 측정의 정확성이 더 효과적인 것을 알 수 있다. 필요에 따라서는
시간적인 제약 사항이 있는 경우, 180 장이 아닌 이미지 수를 선택하는 방법으로 해결을 할 수 있을 것이다.
5. 토 론
본 연구는 생체 모방 분야의 연구와 관련 있다. 동물의 감각 기관을 모델로 하는 생체 모방 연구가 많이 있고 (1,2,6,16,17, 27,28), 로봇 또는 차량 내비게이션에서 필요로 하는 방향 정보를 위해 곤충의 편광 방식을 이용하는 연구가 진행된 사례가 있다 (1,2,15). 본 연구를 통해 실외 환경에서 편광을 이용한 방향 찾는 문제가 실효성이 된다면, 자기 주행 기록, 비젼 또는 거리 정보를 이용한 내비게이션 (29-33)에 큰 도움이 될 수 있다. 그 밖에 통신을 통한 네트워크 로봇 (34) 분야에도 활용될 수 있다. 이에 대한 추후 연구가 진행될 예정이다.
다수의 편광 이미지를 이용하여 편광 특성, 즉 편광 각도와 크기를 추정하는 방법은 특정 방향 또는 한 사이클 내 위상 정보 추출을 하는 연구와 연관되어
있다. 한 주기 내의 위상은 그룹 분할 (28) 또는 특정 방향 선정 (27) 등에도 사용이 될 수 있다. 현재 제안하는 멀티 포인트 방법은 이미지를 180장을 사용하고 있다. 180장의 이미지를 효과적으로 줄여, 나아가 계산시간,
메모리, 촬영 시간을 줄일 수 있는 방법을 찾을 수 있다. 이를 사용하기 위하여 AoP (Angle of Polarization)과 DoP (Degree
of Polarziation)의 핵심 성능 정보를 갖고 있는 최소한의 이미지 개수를 구할 수도 있다.
현재는 서보 모터를 사용하고 있지만, 세밀한 움직임을 위해 스텝핑 모터와 같은 360도 회전 가능한 모터를 사용할 수 있다. 이는 해상도를 높여 노이즈
개선의 효과를 더 크게 볼 것으로 예상된다. 또한, 실시간 촬영과 정보 추출이 가능해 진다면, AoP 이미지를 통해 물체 또는 사람 인식, 편향 각도
추정, 3D 구성 작업에도 사용 될 수 있다. 또한, DoP 이미지를 이용하여 크랙 검출, 외관 검사 등에도 응용될 수 있으며, 운전자를 위한 시각
처리 등에도 도움이 될 수 있다.
6. 결 론
본 연구진은 높은 가격대를 형성하고, 복잡한 하드웨어 구성을 갖는 기존 방법과는 달리 저렴하고 간단한 하드웨어 구조로 편광 특성 측정이 가능한 시스템을
개발하였다. 기존 방법은 AoP(Angle of Polarization)을 계산하기 위하여, 4 분할 편광 각도에 대한 이미지로 AoP를 계산한다.
본 논문에서는 웹캠의 특성상 해상도가 좋지 않아 AoP 이미지의 노이즈를 제거하기 위한 연구를 진행하였다. 주변 영역의 픽셀 평균을 구하여 평균값으로
그 영역을 평균으로 채워 넣는 방법을 사용할 수 있으나, 실제적인 샘플링 효과를 갖기 위해, 멀티 포인트 방법을 제안하였다.
표현된 AOP 이미지는 선행 연구된 이미지와 색 패턴이 일치하였으며, 웹 1대를 가지고 카메라 4대에서 나오는 결과를 도출 하는 성과를 내었다. 이와
같은 결과를 도출 하는데 있어 평가 방법으로 SSIM(Structural Similarity Index)과 SNR(Signal to Noise Ratio)를
사용하였으며, 180장의 샘플을 사용하였을 때 가장 높은 성능 결과를 보였다. 평가 방법은 이미지 전체를 두고 180장의 이미지를 참조 이미지로 하여,
4개의 이미지를 이용하는 기존 방법과 멀티 포인트 방법에서 사진의 개수를 3개부터 90 개까지 증가하면서 비교를 하였다. 또한, 특정 각도에 대한
값을 이상적인 값으로 두고 기존 방법 (4개)과 멀티 포인트 방법 (180개)을 비교 하였다. 위와 같은 평가 방법을 통해 멀티 포인트 방법이 기존
방법에서 나타나는 노이즈를 제거하고 편광 각도 해상도를 높이는 것을 보였다. 제안한 방법은 노이즈(Noise)에 강인할 뿐 아니라, 하드웨어 비용을
절감할 수 있다.
Acknowledgements
본 논문은 2017년도 정부(미래창조과학부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF-2017R1A2B4011455).
본 논문은 2019년도 정부(산업통상자원부)의 재원으로 산업기술진흥원의 지원을 받아 수행된 연구임(N0002428, 2019년 산업전문인력역량강화사업).
References
D. Lambrinos, R. Möller, T. Labhart, R. Pfeifer, R. Wehner, 2000, A mobile robot employing
insect strategies for navigation, Robotics and Autonomous systems, Vol. 30, No. 1-2,
pp. 39-64
M. Dacke, D. Nilsson, C. Scholtz, M. Byrne, E. Warrant, 2003, Animal behaviour: insect
orientation to polarized moonlight, Nature, Vol. 424, No. 6944, pp. 33
K. Fent, 1986, Polarized skylight orientation in the desert ant Cataglyphis, Journal
of Comparative Physiology A, Vol. 158, No. 2, pp. 145-150
R. Wehner, S. Strasser, 1985, The POL area of the honey bee's eye: behavioural evidence,
Physiological entomology, Vol. 10, No. 3, pp. 337-349
S. Rossel, R. Wehner, 1986, How bees analyse the polarization patterns in the sky,
Journal of Comparative Physiology A, Vol. 154, No. 5, pp. 607-615
W. F. Herrnkind, 1972, Orientation in shore-living arthropods, especially the sand
fiddler crab, in Behavior of Marine Animals, Springer, Boston, MA, pp. 1-59
H. H. Thoen. M. J. How, T. H. Chiou, J. Marshall, 2014, A different form of color
vision in mantis shrimp, Science, Vol. 343(6169), pp. 411-413
R. Blin, S. Ainouz, S. Canu, F. Meriaudeau, 2019, Adapted learning for polarization-based
car detection, In Fourteenth International Conference on Quality Control by Artificial
Vision, Vol. 11172, pp. 1117218
X. Wang, J. Gao, N. W. Roberts, 2019, Bio-inspired orientation using the polarization
pattern in the sky based on artificial neural networks, Optics Express, Vol. 27, No.
10, pp. 13681-13693
Y. Ye, Y. Tan, G. Jin, 2019, Accurate measurement for damage evolution of ceramics
caused by nanosecond laser pulses with polarization spectrum imaging, Optics Express,
Vol. 27, No. 11, pp. 16360-16376
J. Liang, H. Ju, L. Ren, W. Zhang, L. Yang, Z. Bai, R. Liang, 2019, High-resolution
reconstruction of shortwave infrared polarimetric images using the intensity information
of visible images, Applied Optics, Vol. 58, No. 18, pp. 4866-4870
W. Zhang, J. Liang, F. Xing, Z. Man, X. Ge, S. Fu, 2019, Polarimetric imaging method
for target enhancement in haze based on polarimetric retrieval, Journal of Modern
Optics, Vol. 66, No. 11, pp. 1235-1243
M. Blanchon, O. Morel, Y. Zhang, R. Seulin, N. Crombez, D. Sidibé, 2019, Outdoor Scenes
Pixel-Wise Semantic Segmentation using Polarimetry and Fully Convolutional Network
H. Wang, H. Hu, X. Li, Z. Guan, W. Zhu, J. Jiang, T. Liu, 2019, An Angle of Polarization
(AoP) Visualization Method for DoFP Polarization Image Sensors Based on Three Dimensional
HSI Color Space, Sensors, Vol. 19, No. 7, pp. 1713
C. Fan, X. Hu, X. He, L. Zhang, Y. Wang, 2018, Multicamera polarized vision for the
orientation with the skylight polarization patterns, Optical Engineering, Vol. 57,
No. 4, pp. 043101
I. Pomozi, G, Horváth, R. Wehner, 2001, How the clear-sky angle of polarization
pattern continues underneath clouds: full-sky measurements and implications for animal
orientation, Journal of Experimental Biology, Vol. 204, No. 17, pp. 2933-2942
M. Müller, R. Wehner, 1994, The hidden spiral: systematic search and path integration
in desert ants, Cataglyphis fortis, Journal of Comparative Physiology A, Vol. 175,
No. 5, pp. 525-530
J. North, M. J. Duggin, 1997, Stokes vector imaging of the polarized sky-dome, Applied
Optics, Vol. 36, No. 3, pp. 723-730
M. Kulkarni, V. Gruev, 2012, Integrated spectral-polarization imaging sensor with
aluminum nanowire polarization filters, Optics Express, Vol. 20, No. 21, pp. 22997-23012
M. Baranowski., A. Surrente, D. K. Maude, M. Ballottin, A. Mitioglu, P. C. M. Christianen,
2017, Dark excitons and the elusive valley polarization in transition metal dichalcogenides,
2D Materials, Vol. 4, No. 2, pp. 025016
R. Wehner, 2001, Polarization vision - a uniform sensory capacity?, Vol. 204, No.
14, pp. 2589-2596
V. Gruev, T. Perkins, T. York, 2010, CCD polarizations imaging sensor with aluminum
nanowire optical filters, Optics Express, Vol. 18, No. 18, pp. 19087-19094
T. York, S. B. Powell, S. Gao, L. Kahan, T. Charanya, D. Saha, S. P. Lake, 2014, Bioinspired
polarization imaging sensors: from circuits and optics to signal processing algorithms
and biomedical applications, Proceedings of IEEE, Vol. 102, No. 10, pp. 1450-1469
A. W. Kruse, A. . Alenin, I. J. Vaughn, J. S. Tyo, 2017, Polarization-color mapping
strategies: catching up with color theory, In Polarization Science and Remote Sensing
VIII, International Society for Optics and Photonics, Vol. 10407, pp. 104070G
D. Kim, J. Park, 1999, Neural network control for reducing engine speed fluctuation
at idle, in Proceedings of the IEEE International Conference on Systems
D. Kim, J. Park, 1999, Frequency selection with oscillatory neurons for engine misfire
detection, International Joint Conference on Neural Networks (IJCNN'99) - Washington,
DC, USA,, pp. 2649-2652
D. Kim, 2006, Neural network mechanism for the orientation behavior of sand scorpions
towards prey, IEEE Transactions on Neural Networks, Vol. 17, No. 4, pp. 1070-1076
D. Kim, 2004, A spiking neuron model for synchronous flashing of fireflies, BioSystems,
Vol. 76, No. 1-3, pp. 7-20
D. Kim, J. Lee, 2011, Path integration mechanism with coarse coding of neurons, Neural
Processing Letters, Vol. 34, No. 3, pp. 277-291
S. Yu, D. Kim, 2011, Landmark vectors with quantized distance information for homing
navigation, Adaptive Behavior, Vol. 19, No. 2, pp. 121-141
C. Lee, S. Yu, D. Kim, 2017, Landmark-based homing navigation using omnidirectional
depth information, Sensors, Vol. 17, No. 8, pp. 1928
C. Lee, D. Kim, 2018, High-Order Moment Models of Landmark Distribution for Local
Homing Navigation, IEEE Access, Vol. 6, pp. 72137-72152
C. Lee, D. Kim, 2018, Visual Homing Navigation with Haar-Like Features in the Snapshot,
IEEE Access, Vol. 6, pp. 33666-33681
S. L. Kim, W. Burgard, D. Kim, 2009, Wireless Communications in Networked Robotics:
Editorial, IEEE Wireless Communications, Vol. 16, No. 1, pp. 4-5
저자소개
2020년 연세대학교 전기전자공학부 대학원 졸업.
관심분야는 바이오로보틱스, 광학계측, 인지과학, 인공지능.
1989년 서울대학교 컴퓨터공학과 학사졸업. The University of Michigan, Ann Arbor, USA 석사. The University
of Edinburgh, UK, 박사.
Max Planck Institute for Human Cognitive & Brain Sciences, Cognitive Robotics, Research
Scientist.
현재 연세대학교 전기전자공학부 교수.
관심분야는 바이오로보틱스, 인공지능, 인공생명, 신경과학,인지과학.