정광희
(Kwanghee Jeong)
1iD
서기성
(Kisung Seo)
†iD
-
(Department of Electronics and Computer Engineering, Seokyeong University, Korea)
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Abandonment Behavior Detection, Ganerative Advesarial Networks, Anomaly Detection
1. 서 론
공공장소에서의 가방이나 상자 등의 유기물은 폭발물이나 유해 액체 및 가스 등과 같은 위험 요소 일 가능성이 있으므로 이에 대한 감시 및 사전 발견이
매우 중요하다(1). 다수의 CCTV를 포함한 관제 시스템이 설치되어 있고, 전담 보안 인력이 감시를 맡고 있지만, 많은 인파가 이동하는 환경에서는 업무의 피로도가
높고 불확실성이 수반되어, 보안 시스템과 감시 인력만으로 대처의 한계가 있다. 따라서, 사람들이 많이 모이는 공항, 역, 터미널, 공공건물 등에 대한
자동 감시 SW에 대한 필요성이 높아지고 있다.
유기 행동 검출에 대한 초기 연구의 상당수는 백그라운드와 포그라운드의 차 영상을 이용하여 배경과 객체를 분리하는 방식이다(1-3). 이후에 객체 추적이나 분류를 추가하여 배경 영역의 미세 신호 변화에 강인한 성능을 얻는 연구가 진행되고 있고(4-6), 이와는 달리 에지 검출이나(7) 생성 모델도(8) 적용되고 있다. 최근에는 딥러닝을 이용한 연구도 시도되었는데(9), 1단계에서 백그라운드 차 영상과 모션 추정을 통한 모든 물체 검출을 수행하고, 2단계에서 연속적인 합성곱 신경망을 통해 유기된 가방을 검출하는
방식이다. 이러한 객체 검출 기반 연구에서는 사람과 배낭, 여행가방, 짐상자 등 다양한 종류의 유기물의 특징을 직접적으로 학습해야 한다. 그러나
학습하지 않은 새로운 형태의 유기물이 존재할 수 있으며, 유기물이 방치되는 순간적인 상황에 대한 검출에는 대응이 미흡하다.
본 연구에서는 상기와 같은 문제점을 보완하기 위해서 개별 유기물에 대한 직접적인 검출 대신, 사람이 물체를 유기하는 이상 상황을 정상 상태와 빠르게
구별할 수 있도록 재구성 기반의(10-12) 이상 감지 (anomaly detection) 기법을 적용한다. 다른 방법과 마찬가지로 객체 검출과 이상 감지의 두 단계로 나누어 접근한다. 객체
검출의 방법 중 하나인 YOLOv4(13)를 이용해 실시간으로 사람 객체를 검출하고, 검출된 사람에 주변의 여백을 포함시켜 다음 단계를 위한 입력으로 구성한다. 1단계에서 얻어진 객체 포함
이미지를 GAN 기반의 이상 감지 기법을 적용하여 유기 행동을 검출한다. 제안된 기법을 국내 AI-HUB에서 제공하는 공항 유기 데이터(14)에 대하여 실험하고 유용성을 입증한다.
2. 객체 검출 및 GAN 기반 이상 감지
유기 행동 검출에 대한 이상감지는 객체 검출과 이상 감지의 두 단계로 나누어진다. 1단계에서는 영상으로부터 유기물 후보인 가방이나 백 등을 가진 사람
객체를 검출하고, 검출된 객체를 GAN 기반 모델에 입력하여 이상 감지를 수행한다. 전체 개념도가 그림 1에 나와 있다. 그림 1의 상단과 같이 일련의 비디오 영상이 입력되면, 대표적인 객체 검출 기법인 YOLOv4를 이용해 사람 검출을 수행한다. 사람에 대해 검출된 경계 상자에
일정 여백을 추가하고 GAN 기반의 이상 감지기에 입력한다. 학습된 생성자로 구성된 이상 감지 모델은 재구성 이미지를 출력하는데, 이 때 입력 이미지와
재구성 이미지간의 L1 오차값을 이상점수로 사용하여 정상인지 이상인지를 구별한다. 그림 2의 하단에 이 과정이 표현되어 있다.
그림. 1. 유기 행동 이상감지의 전체 수행 구조도
Fig. 1. Overall structure of anomaly detection for abandonment behavior detection
2. 유기 행동 및 전처리
1단계인 유기 행동 및 전처리 과정에 대한 세부적인 설명은 다음과 같다. 비디오가 입력되면, YOLOv4를 객체 검출기로 사용하여 프레임별로 그림 2의 상단처럼 사람을 검출하고, 검출된 경계 상자에 일정 여백을 추가하여 그림 2의 하단과 같이 사람이 들고 있는 물체가 포함되도록 이미지를 구성한다. 여백은 사람의 크기와 운반물의 크기 등을 분석하여 파라미터화 한다. 두 가지
이미지 모두 이상 감지를 위한 학습 데이터로 사용되며, 실시간 이상 감지 판별에도 입력으로 사용된다.
3. 이상 감지를 위한 GAN 모델
3.1 이상 감지의 수행
2절에서 설명한 이상 감지 수행과정은 그림 2의 하단에 나타나 있다. 이상 감지 모델은 검출된 객체 이미지를 입력 받아서 GAN의 생성자를 통해 재구성 이미지를 출력하는데, 이 때 정상 이미지는
원본과 같이 출력하고, 이상 이미지는 원본과 차이가 많이 나도록 출력한다. 유기 행동 검출에 대한 이상 감지의 적용을 위해서 다음과 같이 정의한다.
검출된 경계상자 내에서 물체를 가지고 있는 사람과 물체를 가지고 있지 않은 사람을 ‘정상'으로, 경계상자 내에서 사람과 물체가 멀어지는 것을 ‘이상'으로
정의한다. 정상 데이터와 이상 데이터에 대한 재구성 이미지의 출력 결과의 예시가 그림 3에 나와 있다. 그림 3의 좌측은 정상 이미지에 대한 결과이며, 가방을 가지고 있거나 원래 가방이 없는 정상 상태이므로 재구성된 이미지가 동일하게 나타난다. 그림 3의 우측은 가방을 버리는 이상 상태에 대한 결과이며, 픽셀의 오차가 큰 다른 이미지로 출력된다. 이에 대한 원리는 3.2절에 자세히 설명된다.
그림. 2. 경계상자를 자른 이미지(위)와 경계상자에 여백을 추가한 이미지(아래)
Fig. 2. Images with a cropped bounding box (top) and images cropped with a marginal
bounding box (bottom)
그림. 3. 정상과 이상 데이터의 감지 예시
Fig. 3. Detection examples of normal and anomaly data
3.2 GAN 모델의 구조
GAN 모델의 생성자는 오토인코더 구조이며, 특징 전달력이 우수한 U-Net(15) 구조를 변형하여 사용한다. 판별자는 CNN 구조를 가지며, 정상과 이상을 분리해서 처리하기 위해 두 개의 동일한 구조가 적용된다. GAN 이상감지
모델의 파이프라인 구조가 그림 4에 나와 있다. 정상 입력시 재구성된 이미지와 원본 이미지 사이의 재구성 오차가 작아지도록 학습하고, 이상 입력시 재구성된 이미지와 원본 이미지 사이의
재구성 오차가 커지도록 학습한다.
구체적으로, 생성자(Generator)가 정상 이미지를 입력 받았을 때는 그림 4의 파란 점선 화살표로 표시된 상단 부분에서 처리된다. L1 손실 함수를 이용하여 입력 이미지와 재구성 이미지간의 픽셀차이를 최소화 한다. 또한,
잠재벡터 손실 함수를 사용하여 입력 이미지와 재구성 이미지의 인코딩된 잠재벡터간의 차이를 최소화 한다. 마지막으로, 상단 우측의 Normal Adversarial(G)
손실 함수를 사용하여 재구성 이미지의 분포가 입력 이미지의 분포에 가깝게 되도록 생성한다.
이와 달리 생성자가 이상 이미지를 입력받았을 때는 그림 4의 빨간 점선 화살표로 표시된 하단 부분에서 처리된다. 먼저, ABC(16) 손실 함수를 사용하여 입력 이미지와 재구성 이미지간의 픽셀차이를 최대화 한다. 그리고, 우측 하단의 Anomaly Adversarial(G) 손실
함수를 사용하여 재구성 이미지의 분포가 입력 이미지의 분포에서 멀어지도록 학습을 한다. 각 손실 함수에 대한 상세한 설명은 사전 연구인 (17)에 나와 있다.
판별자(Discriminator)는 정상 이미지에 대한 재구성 이미지를 입력받은 경우는 1을 출력하도록, 이상 이미지에 대한 재구성 이미지를 입력받은
경우는 0을 출력하도록 생성자를 학습시킨다. 즉, 재구성 오차를 이상 지표로 사용하여 입력된 이미지가 정상인지 이상인지에 대한 이진 분류를 수행한다.
그림. 4. GAN 기반 이상감지 모델의 파이프라인 구조
Fig. 4. Pipeline architecture of GAN-based anomaly detection
4. 실험 환경 및 결과
4.1 유기 감지용 데이타
실험에 사용한 동영상 데이터는 AI-HUB에서 제공하는 공항 유기 데이터(14)이다. 동영상에서 정지 이미지를 분리하고 각 이미지에 대해서 검출된 객체의 경계 상자의 좌우 33.3%, 상하 20%의 여백을 두어 검출된 사람과
그 사람이 소유한 물건이 함께 나오도록 관심 영역을 설정하여 사용한다. 여백이 적용된 경계 상자 내에서 물건을 소유하지 않은 사람과 물건을 들고 있는
사람을 정상으로 정의하고, 물건과 사람이 멀어지는 상황을 이상으로 정의한다.
이상 감지 모델 학습에 사용된 데이터는 표 1과 같으며, 총 117개의 동영상 중 학습에 93개, 평가에 24개가 사용되었다. 학습에 사용된 이미지는 정상이 18.786장, 이상이 8,829장이며,
평가에 사용된 이미지는 정상이 4249장, 이상이 2353장이다. 사람이 검출되지 않은 배경만의 이미지는 제외하였다.
표 1. 객체검출 기반 실시간 이상감지 실험에 사용된 데이터 수
Table 1. Number of data used for the real-time anomaly detection experiments based
on object detection
|
|
Train
|
Test
|
|
Normal
|
Anomaly
|
Normal
|
Anomaly
|
|
Images
|
18,786
|
8,829
|
4,249
|
2,353
|
4.2 실험 환경
실험은 Intel i7-9700K @ 3.60GHz CPU와 NIVIDIA Geforce RTX-2080 GPU, 그리고 Tensorflow 1.14를
사용하여 수행하였다. 객체 검출은 Deep SORT 프레임워크에서 COCO dataset으로 학습된 YOLOv4(13)를 사용한다. 유기 감지 실험에 사용된 학습 파라미터는 표 2와 같다.
표 2. 유기 감지 모델 학습에 사용된 파라미터
Table 2. Parameters used to train anomaly detection models
|
Epoch
|
Batch
size
|
Learning
rate
|
Learning rate
decay epoch
|
Learning rate
decay factor
|
|
300
|
1
|
0.0001
|
50
|
0.5
|
4.3 실험 결과
제안된 기법의 인식률 평가에는 AUROC(Area Under the Receiver Operating Characteristic)를 사용하며, 참-긍정과
거짓-긍정을 이용해 결정 임계값을 변화해가며 구한 ROC 곡선 아래의 면적값을 계산하는 방식이다. AUROC의 최댓값은 1이며, 1에 가까울수록 높은
성능을 나타낸다. 그림 5는 공항 유기 데이터에 대한 AUROC 결과로서, 96.82%의 우수한 성능을 보여준다.
그림 6에 정상과 이상 클래스의 재구성 오차에 대해 커널 밀도 추정을 이용하여 얻은 확률 밀도 함수 그래프가 나와 있다. 재구성 오차에 대해 정상 데이터와
이상 데이터의 중심 분포가 멀리 떨어져 있어, 이상감지가 명확하게 구분됨을 알 수 있다.
그림. 5. 객체검출 기반 실시간 이상감지 실험 AUROC 결과
Fig. 5. AUROC result for real-time anomaly detection experiment based on object detection
그림. 6. 정상과 이상 클래스의 재구성 오차의 확률 밀도 함수 분표
Fig. 6. Distribution of probability density function for normal and anomaly classes
그림 7과 8은 정상과 이상에 대한 인식 결과 중 일부를 시각화한 것이다. 그림 7은 핸드백을 든 여성의 유기 행동에 대한 결과로서, 왼쪽부터 입력 이미지, 재구성 이미지, 그리고 재구성 오차 이미지이다. 첫째 행은 핸드백은 맨
상태의 입력 이미지에 대해서 중앙의 재구성 이미지가 동일하게 구성되었고, 우측의 재구성 오차가 0에 가까워 모든 픽셀이 0 값인 검은색으로 표시됨을
알 수 있다. 둘째 행에서는 핸드백을 내려놓는 상황이므로, 이상으로 감지해 중앙의 재구성 이미지가 입력과 다르게 반전 형태로 구성되었고, 우측의 재구성
오차 이미지가 사람의 형태와 배경에 대해서 대부분 0 보다 큰 값으로 표시되어 유기 상태를 정확하게 검출함을 알 수 있다. 셋째 행은 핸드백이 원래
없는 사람과 동일하기 때문에 역시 정상으로 판별하여 재구성 이미지가 동일하고 재구성 오차가 0으로 나왔다. 이상의 예는 CCTV 등을 통해 입력 받은
연속적인 동영상에 대해서 가방의 유기와 같은 이상 상황을 바로 포착할 수 있음을 보여준다. 그림 8에는 남성이 쇼핑백을 들고 가다 내려 놓는 상황에 대한 이상 검출 결과가 나와 있다. 그림 7과 마찬가지로 백이 몸에서 분리되는 시점을 정확하게 검출함을 나타낸다.
그림. 7. 객체검출 기반 실시간 이상감지 결과의 시각화 (1)
Fig. 7. Visualization of real-time anomaly detection results based on object detection
(1)
그림. 8. 객체검출 기반 실시간 이상감지 결과의 시각화 (2)
Fig. 8. Visualization of real-time anomaly detection results based on object detection
(2)
이상 감지에 대한 오류 결과의 예가 그림 9에 나와 있다. 그림 9의 좌측은 가방을 가지고 있는 정상 이미지이나 재구성 이미지가 이상으로 감지된 경우이다. 그림 9의 우측은 사람과 가방의 거리가 떨어져 있는 경우이나, 재구성 이미지가 정상으로 출력된 경우이다.
그림. 9. 이상 감지에 대한 오류 결과
Fig. 9. Results of incorrect detection cases
5. 결 론
유기 행동 감지에 대한 실시간 객체검출과 GAN을 결합한 이상감지 모델을 제안하였다. AI-HUB의 공항 유기 데이터에 대한 실험 결과, AUROC
96.82%라는 우수한 성능을 얻었고, 이미지 결과에서도 정상과 이상에 대한 이상 감지가 잘 이루어짐을 보였다. 향후에는 전처리로 사용되는 객체 검출
모델의 성능에 매우 높은 의존도를 가지는 문제점을 보완하고, 여러명의 사람과 물체가 등장하는 복잡한 상황에 대한 확장된 적용이 필요하다.
References
M. Bhargava, C.-C. Chen, M. S. Ryoo, 2007, Detection of abandoned objects in crowded
environments, in Proceedings of AVSS, pp. 271-276
H.-H. Liao, J.-Y. Chang, 2008, A Localized Approach to Abandoned Luggage Detection
with Foreground- Mask Sampling, in Proceedings of AVSS, pp. 132-139
F. Porikli, Y. Ivanov, 2008, Robust abandoned object detection using dual foregrounds,
EURASIP Journal on Advances in Signal Processing, Vol. 2008, pp. 30
S. Kwak, G. Bae, 2010, Abandoned luggage detection using a finite state automaton
in surveillance video, Optical Engineering, Vol. 49, No. 2, pp. 027 007–1-027 007–10
G. Szwoch, P. Dalka, 2010, A Framework for Automatic Detection of Abandoned Luggage
in Airport Terminal., Springer, pp. 13-22
Y. Tian, R. S. Feris, H. Liu, A. Hampapur, 2011, Robust Detection of Abandoned and
Removed Objects in Complex Surveillance Videos, IEEE Transactions on Systems Man and
Cybernetics, Vol. 41, No. 5, pp. 565-576
G. Szwoch, 2016, Extraction of stable foreground image regions for unattended luggage
detection, Multimedia Tools and Applications, Vol. 75, No. 2, pp. 761-786
J. Wen, H. Gong, X. Zhang, W. Hu, 2009, Generative model for abandoned object detection,
in Proceedings of ICIP, pp. 853-856
S. Smeureanuz, R. T. Ionescu, 2018, Real-Time Deep Learning Method for Abandoned Luggage
Detection in Video, in Proceedings of European Signal Processing Conference 2018 In
2018 26th European Signal Processing Conference (EUSIPCO), pp. 1775-1779
S. Akcay, A. Atapour-Abarghouei, T. P. Breckon, 2018 December, Ganomaly: Semi-supervised
anomaly detection via adversarial training., In Asian conference on computer vision,
pp. 622-637
M. abokrou, M. Khalooei, M. Fathy, E. Adeli, 2018, Adversarially learned one-class
classifier for novelty detection., In Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition, pp. 3379-3388
T. Schlegl, P. Seeböck, S. M. Waldstein, U. Schmidt-Erfurth, G. Langs, 2017 June,
Unsupervised anomaly detection with generative adversarial networks to guide marker
discovery., In International conference on information processing in medical imaging,
pp. 146-157
A. Bochkovskiy, C. Y. Wang, H. Y. M. Liao, 2020, YOLOv4: Optimal Speed and Accuracy
of Object Detection., arXiv preprint arXiv:2004.10934.
Abnormal Event CCTV Video AI Training Dataset, https://www.aihub.or.kr/aidata/139
O. Ronneberger, P. Fischer, T. Brox, 2015 October, U-net: Convolutional networks for
biomedical image segmentation., In International Conference on Medical image computing
and computer-assisted intervention, pp. 234-241
Y. Yamanaka, T. Iwata, H. Takahashi, M. Yamada, S. Kanai, 2019 August, Autoencoding
binary classifiers for supervised anomaly detection., In Pacific Rim International
Conference on Artificial Intelligence, pp. 647-659
J. Kim, K. Jeong, H. Choi, K. Seo, January 2020, GAN-based Anomaly Detection in Imbalance
Problems, ECCV-2020 Workshops Lecture Notes in Computer Science Springer-Verlag
저자소개
He received B.S. and MS degrees from Electronics Engineering from Seokyong University,
Seoul, Korea, in 2017 and 2021 respectively.
He is a Research Engineer with Alchera AI company.
His research interests include deep learning, computer vision, and anomaly detection.
He received the BS, MS, and Ph.D degrees in Electrical Engineering from Yonsei University,
Seoul, Korea, in 1986, 1988, and 1993 respectively.
He joined Genetic Algorithms Research and Applications Group (GARAGe) , Michigan State
University from 1999 to 2002 as a Research Associate.
He was also appointed Visiting Assistant Professor in Electrical & Computer Engineering,
Michigan State University from 2002 to 2003.
He was a Visiting Scholar at BEACON (Bio/computational Evolution in Action CONsortium)
Center, Michigan State University from 2011 to 2012.
He is currently Professor of Electronics Engineering, Seokyeong University.
His research interests include deep learning, evolutionary computation, computer vision,
and intelligent robotics.