Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers

  1. (Interdisciplinary Graduate Program for BIT Medical Convergence, Kangwon National University, Korea.)



Deep learning, Xception, Prohibited item, AI airport security, Smart airport, X-ray baggage image

1. 서 론

공항은 한 공간 안에 사람들이 밀집되어 있으므로 작은 사건 사고로 큰 인명피해가 발생한다. 인명피해를 줄일 방법을 찾고 있으며, 이에 대한 해결책은 위해물품을 반입 금지하는 것이다. 수하물에 숨길 수 있는 위해물품을 탐지하기 위하여 엑스레이를 이용한다면 수하물 개봉 없이 손쉽게 검사 할 수 있다. 하지만, 엑스레이 이미지는 실제 물품과 차이가 있어 숙달되지 않는 사람에게 어려울 수 있다. 숙달되었다고 하더라도 실수를 하게 되면 사건 사고가 발생할 수 있다. 실제로 국내에서도 실패한 사례가 있으며 2016년에 총 7건의 사건이 일어났었다 (1). 이러한 사건 때문에 검색대의 기술 발전은 계속해서 필요하다. 초기에는 1차원적인 검색자들을 훈련을 시켰다. 보안 검색자들의 위해물품 탐지를 위한 훈련방법으로는 PIT(Prohibited Item Test), ORT(Object Recognition Test), CBT (Computer Based Training) 등이 있었다. 하지만 검색자들이 익숙해지기 위해서는 2년 이상의 투자가 필요했다 (2-4). 또한, 2년 이상의 훈련을 통해 숙달되었더라도 장시간 업무에 대한 스트레스와 피로감으로 2가지 문제점이 발생한다.

첫 번째 문제점으로 보안 검사속도가 감소하는 것이다. 사람이 몰릴수록 검사속도는 느려지게 되고 1인당 최대 20분까지 걸릴 수 있다 (5). 이는 승객들에게 불편을 겪게 하고, 실제로 그림 1을 보면 승객들 탑승 과정 중 비교적 자유롭지 못한 곳에서 불만을 느끼는 것을 알 수 있다. 이런 불만은 보안 검사에서 많이 나타나고 검사속도 상승에 관한 연구가 필요하다 (6).

두 번째 문제점으로 보안 검사의 정확도가 감소하는 것이다. 이는 위해물품이 통과되어 사건 사고가 발생할 수 있어서 위 문제보다 심각한 상황을 초래할 수 있다. 이를 해결하기 위해 보안검색의 정확도를 높이기 위한 연구가 진행되고 있으며, 현재는 딥러닝을 이용하여 위해물품 인식 인공지능 시스템이 정확도를 높이는데 획기적인 방법으로 알려졌다. 인천공항에서도 2019년 11월부터 제2 여객 터미널에서 보안검색 보조 시스템을 시범 운영하고 있으며, 점층적으로 확대 예정이라 한다 (7).

신경망은 발명된 지 오래된 알고리즘이지만 다층으로 쌓을 때 성능에 문제가 생겨 관심을 받지 못하다가 최근에 해결책이 나타나면서 인공지능 연구에 도움이 되고 있다 (8).

그림. 1. 공항 출입국 절차에서 승객이 느끼는 감정(2016)

Fig. 1. Passenger feelings in the airport immigration process(2016)

../../Resources/kiee/KIEE.2020.69.7.1067/fig1.png

보안검색에서 문제를 해결하기 위한 연구가 활발하게 이루어지고 있었으며, 초기에는 기계학습에서 BOVW(Bag of Visual Word)와 SVM(Support Vector Machine)을 이용하여 슬라이딩 윈도우 기반 감지 방식으로 위해물품을 분류하였다. 이는 딥러닝 이전 최고의 성능을 자랑하였고 (9) 딥러닝이 발전되면서 딥러닝을 이용한 분류가 주목받게 되었다. 이미지 분류 면에서 CNN이 좋은 성능을 보이면서 CNN을 이용한 연구가 활발해지게 되었다 (10). 관련 연구로 Samet Akcay (11)는 위해물품을 카메라, 랩톱, 총 부품, 칼, 세라믹 칼 6가지로 분류하는 연구를 하였으며, 모델은 AlexNet, GoogLeNet를 사용하였다. 데이터 세트는 혼합된 엑스레이 이미지에 작업자가 수동으로 객체를 잘라내어 9,123장의 이미지를 만들었다. 이런 데이터를 갖고 성능은 AlexNet 95.26%, GoogLeNet 98.4%로 매우 높게 나왔다. 다른 연구로 S. Cao (12)의 연구는 클래스를 위해물품이 있는 것, 위해물품이 없는 것, 의심되는 것 3가지로 분류하였고, 이는 완전한 자동보다는 검색자의 보조 역할에 중점을 두었다. 데이터양은 학습데이터 1,408장, 테스트 데이터는 1,842장이고 결과는 작업자가 의심되는 부분을 100% 옳게 분류했다는 가정하에 precision이 91.09%, recall이 98.21%가 나왔다. 하지만 이는 작업자의 숙련도에 따라서 크게 달라질 수 있는 수치이다. 검색대 작업자의 피로를 느낄시 80~90%의 정확도를 보여주는데 제안한 연구로 작업자의 업무 강도를 줄일 수 있어 실제적인 효과는 더 높다고 하였다.

본 논문의 목표는 보안 검색자들에게 도움을 주어 업무의 정확성과 신속성을 제공하기 위한 것이다. 이전 연구보다 정확도를 높이고, 다양한 위해물품 확인을 위해 12가지의 다중클래스를 분류하였다. 2장에서는 딥러닝 이론과 모델 사용 방법 및 데이터 구성 방법을 소개할 것이고, 3장에서는 데이터 분류에 관한 결과 성능을 확인하고, 4장에서는 결과에 대해 분석 또는 향후 연구 방향을 제시한다.

2. 이론 및 방법

2.1 CNN(Convolutional Neural Network)

CNN은 딥러닝에 포함된 신경망 중에 하나로 단순히 층을 쌓는 구조가 아닌 n×n의 필터를 만들어 컨볼루션 연산을 하여 이미지의 특징을 추출하는 층을 추가한 구조이다. CNN 층의 구조는 크게 컨볼루션망, 풀링망, 분류망으로 나누어진다. 컨볼루션 망에서는 이미지의 특징들을 추출하는데 이것을 특징 맵이라고 한다. 풀링 망에서는 컨볼루션망에서 추출한 특징 맵의 크기를 줄여주는 역할을 한다. 컨볼루션망과 풀링망을 반복하여 특징 추출하는 층을 만든다 (13). 이렇게 추출된 특징 맵은 분류망에서 클래스별로 분류된다. 따라서 CNN은 필터의 크기와 배치에 따라 정확도와 파라미터수가 달라지게 된다. 이런 컨볼루션망의 배치 방식에 따라 여러개의 모델이 발생하게 되었다. 본 연구는 Xception 모델을 이용하였다.

2.2 Xception

Xception은 Inception에서 개발된 모델인데 Extreme Inception이라고 한다. Inception은 컨볼루션망을 병렬로 연결하고 1×1 컨볼루션망을 통과시킨 후 3×3 컨볼루션망을 통과시켜 채널 관련 컨볼루션망과 공간 관련 컨볼루션망을 독립적으로 볼 수 있도록 분리함으로써 연산량을 줄여준다 (14). Xception은 1×1 컨볼루션을 극단적으로 여러 개를 만들어 채널 관계가 있는 망과 공간과 관련 있는 망을 좀 더 독립적으로 분리해보자는 것에서 발전한 모델이다. 이는 2014년에 발표한 Depthwise Separable 컨볼루션과 거의 같다. 차이점은 첫째로 1×1 컨볼루션을 먼저 통과를 하는 순서이고, Xception에서 비선형성이 구현되는 반면에 Depthwise Separable 컨볼루션은 선형, 비선형 구분 없이 구현된다. 이는 성능에서 차이가 날 수 있다. Inception보다 채널 관련 컨볼루션망과 공간 관련 컨볼루션망을 독립적으로 분리할 수 있다. 파라미터 개수는 Inception보다 Xception이 3.5% 줄고, 성능은 구글에서 제공하는 데이터 세트 JFT에서 4.3% 향상을 보여준다 (15). 그림 2는 Inception 구조를 나타낸 그림이고, 이는 1×1 컨볼루션망과 Avg Pooling망을 통과하여 3×3 컨볼루션망을 통과하여 학습한다. 그림 3을 보면 Xception의 특징을 나타내었고 1×1 컨볼루션망을 극단적으로 넓힘으로써 계산량의 감소로 좀 더 높은 학습률을 보여준다.

2.3 데이터 세트 구성 및 분류

학습하는데 사용된 데이터는 AI HUB(한국정보화진흥원)에서 제공한 Smiths Detection사의 X-ray 이미지 반입금지 물품 데이터를 사용하였다 (16). 제공된 X-ray 이미지 중 한 이미지 안에 하나의 위해물품 포함하고 위해물품이 아닌 물품들이 섞여 있거나, 한 이미지에 하나의 위해물품이 포함된 이미지를 사용하였다. 제공된 데이터들을 12개 클래스로 분류하였다. 표 1을 보면 학습데이터 25,405장 테스트 데이터로 7,566장을 이용한 것을 알 수 있다.

그림. 2. Inception 모델

Fig. 2. Inception Model

../../Resources/kiee/KIEE.2020.69.7.1067/fig2.png

그림. 3. Xception 모델

Fig. 3. Xception Model

../../Resources/kiee/KIEE.2020.69.7.1067/fig3.png

표 1. 클래스별 데이터 세트

Table 1. Class-specific Dataset

train

test

Total

Awl

2800

220

3020

Axe

3200

274

3474

Bat

1000

160

1160

Bullet

2400

240

2640

Gun Parts

4000

400

4400

Hammer

3200

332

3532

HDD

498

77

575

Knife

4899

3291

8190

Metal Pipe

1250

396

1646

Smart Phone

663

1948

2611

SSD

995

148

1143

Throw Knife

500

80

580

Total

25405

7566

32971

이 데이터들은 물품의 배치에 따라 Single object(위해물품 한 개), Single others(위해물품 한 개와 위해물품에 해당하지 않은 물품), Multiple others(위해 물품 2개 이상과 해당하지 않은 물품)로 나누어진다. 이 3가지를 포함한 데이터를 학습하였다. 그림 4를 보면 물품들의 배치 별로 이미지들을 확인할 수 있다. 학습하는 동안의 평가를 위해 학습데이터 20% 정도는 Validation 데이터로 지정하여 학습했다. 입력 이미지 크기는 299x299이고 Epoch는 20, 활성함수 Relu를 사용하였고, 학습률은 0.0001을 사용했다. 학습하는 동안 손실률은 그림 5에 나타냈다.

Epoch를 20으로 한 이유는 10만 되어도 손실률이 충분히 낮아지고 그 이상 학습을 하여도 성능이 바뀌지 않아 20 정도 하였다. 학습된 데이터를 갖고 테스트 데이터 7,566장으로 결과를 내었으며 학습 과정은 그림 6에 간략히 나타내었다.

그림. 4. 위해물품 데이터 세트

Fig. 4. Dataset of dangerous object

../../Resources/kiee/KIEE.2020.69.7.1067/fig4.png

그림. 5. 학습 손실률

Fig. 5. Loss rating

../../Resources/kiee/KIEE.2020.69.7.1067/fig5.png

그림. 6. 제안 시스템의 구성도

Fig. 6. The framework for our proposed system.

../../Resources/kiee/KIEE.2020.69.7.1067/fig6.png

3. 연구 결과

본 연구 학습은 Window 10, Python 3.7, Tensorflow – GPU2.0.0, Cuda 10.0, CudCNN 10.0을 기반으로 Xception CNN을 구성하였다. 성능을 살펴보기 위해 혼동행렬(Confusion Matrix)을 이용하여 결과를 나타내었다. 혼동행렬은 판별에 따라 TP(참 긍정), TN(참 부정), FP(거짓 긍정), FN(거짓 부정) 4가지로 구분되고 이 4가지로 Accuracy, Precision, Recall, F1-Score를 구하여 결과 비교를 할 수 있다. 클래스별 데이터양이 균일하지 않을 때 Accuracy보다 F1-Score가 조화평균을 이용하기 때문에 좀 더 정확한 평가를 할 수 있다.

(1)
$Accuracy=\dfrac{TP + TN}{TP + FN + FP + TN}$

(2)
$Precision=\dfrac{TP}{TP +FP}$

(3)
$Recall=\dfrac{TP}{TP+FN}$

(4)
$F1 -Score=2\times\dfrac{Precision\times Recall}{Precision+Recall}$

표 2를 보면 12개의 클래스의 결과를 알 수 있다. Macro Avg는 평균들의 평균을 나타내는 것이고, Weight Avg는 클래스별로 데이터들의 수가 균일하지 않기 때문에 데이터 수에 따라 가중치를 주어 평균을 낸 것이다. 정확도는 0.9939가 나왔고, 클래스별 데이터가 균일하지 않기 때문에 Weight Avg에서 F1-Score 0.9942를 보는 것이 좀 더 정확한 결과를 나타낸다.

표 3은 바로 무기가 될 수 있다고 판단되는 클래스들을 골라내어 학습된 모델에 9가지 클래스만 결과를 내었다. 결과를 보면 F1-score가 0.9989 정확도가 0.9992로 나왔다. 표 2표 3을 비교하면 F1-score가 위해물품만으로 테스트했을 때 성능이 더 좋게 나왔다.

표 2. 전체 성능평가표

Table 2. Performance evaluation table of total

 

Precision

recall

f1-score

Awl

1

1

1

Axe

1

1

1

Bat

1

0.97

0.99

Bullet

1

1

1

Gun Parts

1

1

1

Hammer

1

1

1

HDD

1

1

1

Knife

1

1

1

Metal Pipe

0.99

1

0.99

Smart Phone

1

0.98

0.99

SSD

0.79

1

0.88

Throwing Knife

1

1

1

macro avg

0.9816

0.9958

0.9875

weighted avg

0.9952

0.9941

0.9942

total accuracy : 0.9939

표 3. 위해물품 성능평가표

Table 3. Performance evaluation table of dangerous object

 

Precision

recall

f1-score

Awl

1

1

1

Axe

1

1

1

Bat

1

0.97

0.99

Bullet

1

1

1

Gun Parts

1

1

1

Hammer

1

1

1

Knife

1

1

1

Metal Pipe

0.99

1

0.99

Throwing Knife

1

1

1

macro avg

0.9988

0.9966

0.9977

weighted avg

0.9992

0.9990

0.9989

total accuracy : 0.9992

표 4는 무기가 될 수 있는 12가지 클래스들을 혼동행렬로 분류된 결과이다. 세로 목록이 본 클래스들이고 가로 목록들이 판별된 클래스이다. 분류 결과를 보면 Bat의 4개의 데이터가 Metal Pipe로 분류되었다. 이는 Bat과 Metal Pipe가 긴 모양이므로 비슷해서 데이터가 잘못 분류가 된 것을 볼 수 있다. 또한, Smart Phone이 SSD로 잘못 분류된 것을 볼 수 있다. 이는 Smart Phone과 SSD가 비슷한 네모 모양의 전자기기이므로 잘못 분류된 것이라고 판단된다. 이런 문제들은 객체를 탐지학습을 하게 된다면 지금보다 높은 정확도를 갖게 될 것이다.

4. 결 론

본 논문에서는 공항 검색대의 위해물품 탐지를 보조하는 인공지능 시스템을 연구하였다. 비숙련자도 일정수준 이상의 정확도를 낼 수 있고, 숙련자에게도 피로감과 스트레스 때문에 정확도가 낮아지는 것을 해결할 수 있다. 또한, 보안검색의 정확도와 신속성을 높임으로써 승객들에게 안전함과 편안함을 제공할 수 있게 될 것이다.

표 4. 혼동 행렬

Table 4. Confusion Matrix

../../Resources/kiee/KIEE.2020.69.7.1067/table4.png

데이터들은 AI HUB에서 제공되는 반입금지 물품 데이터들을 총 12개의 클래스를 이용하였으며 그 중 위해물품 9개 저장 매체 3개이다. 전체 F1-score와 위해물품 F1-score를 비교해보면, 전체 0.9942, 위해물품 0.9989로 위해 물품에서 좀 더 높게 나왔다. 이는 위해물품을 좀 더 잘 구분함으로써 공항 내에 사건 사고들을 방지할 수 있을 것이다.

특정 몇 개의 클래스 빼고는 대체로 성능이 높게 나왔다. 이는 Xception이 Inception보다 채널 관련 컨볼루션망과 공간 관련 컨볼루션망을 좀 더 독립적인 계산을 가능함으로써 컴퓨터의 동일 자원에서 학습이 더 잘 되었고, Depthwise Separable와 비슷한 구조이지만 활성함수가 비선형함수를 이용함으로써 전반부 은닉층 학습이 잘되어 성능이 좋게 나왔다. 물품들의 크기가 다양하고 좀 더 밀집된 데이터에서는 특징을 추출하기 어려워 분류 성능이 많이 떨어질 것으로 추측된다. 향후 이를 보완하기 위해서는 객체 탐지학습을 추가하여 객체의 특징을 더 구체적으로 추출할 수 있게 하고, 이를 기반으로 정확도가 높은 학습모델을 만들기 위한 연구를 진행할 예정이다.

Acknowledgements

This work was supported by the National Research Foundation of Korea (NRF) grant funded by the Korea government (MSIT) (No. 2017R1E1A1A03070297). This research was supported by the MSIT (Ministry of Science and ICT), Korea, under the ITRC (Information Technology Research Center) support program (IITP- 2020-2018-0-01433) supervised by the IITP(Institute for Information & communications Technology Promotion).

References

1 
S. J. Lim, J. Choi, J. Lee, J. Y. Ahn, K. Moon, Feb 2019, Effect of Providing Detection Information on Improving Signal Detection Performance: Applying Simulated Baggage Screening Program, The Korean Soiciety of Safety, Vol. 34, No. 1, pp. 82-89DOI
2 
Hofer, Franziska, Hardmeier Diana, Schwaninger Adrian, 2006, Increasing airport security using the X-ray ORT as effec- tive pre-employment assessment toolGoogle Search
3 
Hardmeier, Diana, Hofer Franziska, Schwaninger Adrian, 2006, Increased detection performance in airport security screening using the X-Ray ORT as pre-employment assessment tool, Second international conference on research in air transportationGoogle Search
4 
Hardmeier, Diana, Hofer Franziska, Schwaninger Adrian, 2006, The role of recurrent CBT for increasing aviation security screeners’ visual knowledge and abilities needed in x-ray screening, The 4th International Aviation Security Tech- nology SymposiumGoogle Search
5 
H. S. Shin, K. E. Yoo, 2005, A Study on Weight of the Factors for Improvement of Air Passenger Security Screening Performance and Service, Journal of the Korean Society for Aviation and Aeronautics, Vol. 13, No. 4, pp. 29-42Google Search
6 
J. W Hong, J. H Oh, H. K Lee, 04012019, smart Airport and Next Heneration Security Screening Technology, ETRI, Vol. 34, No. 2, pp. 73-82DOI
7 
Korea Airport Corporation, Press release, https://www.airport.co.kr/Google Search
8 
LeCun, Yann, Bengio Yoshua, Hinton Geoffrey, 2015, Deep learning, nature, Vol. 521, No. 7553, pp. 436-444Google Search
9 
Baştan, Muhammet, Reza Yousefi Mohammad, M. Breuel Thomas, 2011, Visual words on baggage X-ray images, International Conference on Computer Analysis of Images and Patterns. Springer, Berlin, HeidelbergDOI
10 
Jain, Kumar Deepak, 2019, An evaluation of deep learning based object detection strategies for threat object detection in baggage security imagery, Pattern Recognition Letters 120, pp. 112-119DOI
11 
Akçay, Samet, 2016, Transfer learning using convolutional neural networks for object classification within x-ray baggage security imagery, 2016, IEEE International Conference on Image Processing (ICIP). IEEEDOI
12 
S. Cao, Y. Liu, W. Song, Z. Cui, X. Lv, J. Wan, 2019, Toward Human-in-the-Loop Prohibited Item Detection in X-ray Baggage Images, 2019 Chinese Automation Congress (CAC), Hangzhou, China, pp. 4360-4364DOI
13 
Y. LeCun, Y. Bengio, G. Hinton, 2015, Deep learning, nature, Vol. 521, pp. 436-444Google Search
14 
Szegedy Christian, Vanhoucke Vincent, Ioffe Sergey, Shlens Jon, Wojna Zbigniew, 2016, Rethinking the Inception Archi- tecture for Computer Vision, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826Google Search
15 
Chollet Francois, 2017, Xception: Deep Learning With Depthwise Separable Convolutions, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1251-1258Google Search
16 
AI Open Innovation Hub, http://www.aihub.or.kr/Google Search

저자소개

이정남 (Jeong-nam Lee)
../../Resources/kiee/KIEE.2020.69.7.1067/au1.png

He received the B.S. degree in Electrical and Electronic Engineering from Kangwon National University, South Korea in 2016.

He is currently working toward the M.S. degree in Interdisci- plinary Graduate Program for BIT Medical Con- vergence from Kangwon National University, South Korea.

조현종 (Hyun-chong Cho)
../../Resources/kiee/KIEE.2020.69.7.1067/au2.png

He received his MS and PhD degrees in Elec- trical and Computer Engineering from the University of Florida, USA in 2009.

During 2010-2011, he was a Research Fellow at the University of Michigan, Ann Arbor, USA.

From 2012 to 2013, he was a Chief Research Engi- neer in LG Electronics, South Korea.

He is currently a professor with the Department of Electronics Engineering and Interdisciplinary Graduate Program for BIT Medical Convergence, Kangwon National University, South Korea.