2.1 객체 체적 측정 연구

최근 수행된 객체 체적 측정 연구에는 RGB-D 카메라를 기반으로 체적을 측정하는 방법이 있다⁽⁶⁾. 하단에 위치한 카메라를 향해 물체를 들고 이동해 체적을 계산하는 방법으로, 피커(picker) 장치가 물제를 잡은 후RGB-D 카메라 시야의 중앙으로 이동해 깊이(depth) 데이터를 측정한다. 이 깊이 데이터를 바탕으로 객체 영역을 추출한 후 물체의 2D 윤곽선 및 높이를 계산한다. 이때, Intel Realsense D435를 RGB-D 센서로 사용했으며, 피커가 물체를 위에서 파지하기 때문에 하단에 카메라를 설치하였다. 이러한 방법은 컨베이어 벨트 위에서 빠르게 이동하는 화물에 적용하기 어려우므로, 이를 감안한 새로운 알고리즘을 개발하는 것이 필요하다.

2.2 객체 탐지

객체 탐지(object detection)는 이미지 또는 비디오에서 객체를 식별하고 찾는 것과 관련된 컴퓨터 비전 분야이다. 딥러닝 기반 객체 탐지 모델은 보통 2단계 검출기와 1단계 검출기로 분류한다.

2단계 검출기는 물체의 위치 추정(regional proposal) 단계 후 분류(classification) 단계로 순차적으로 진행한다. 위치 추정이란 물체가 있을 만한 영역을 빠르게 찾아내는 과정을 뜻한다. 두 단계가 분리되어 있어 상대적으로 속도는 느리지만, 정확도가 높다는 특징이 있다. 대표적인 2단계 검출기는 R-CNN⁽⁷⁾과 Fast R-CNN⁽⁸⁾이 있다.

1단계 검출기는 물체의 위치 추정과 분류가 한 단계에서 동시에 수행된다. 즉, 2단계 검출기보다 상대적으로 정확도는 떨어지지만, 속도가 빠르다는 특징을 가지고 있다. 대표적인 1단계 검출기로는 CornerNet⁽⁹⁾, YOLO⁽¹⁰⁾, SSD⁽¹¹⁾ 등이 있다.

2.3 YOLOv3

YOLO는 You only look once의 약자로 이미지나 동영상에서 객체를 인식하고 그 위치를 예측하는 신경망 기반 객체 탐지 알고리즘이다. 이미지를 여러 장으로 분할해 해석하지 않기 때문에 기존의 모델보다 빠른 성능으로 실시간 객체 검출이 가능하다. 이미지를 그리드로 나누고 각 그리드 셀에 대해 객체의 위치와 클래스를 예측한다. YOLO는 2016년에 발표된 v1에서부터 여러 기법을 추가하여 지속적인 성능 개선 모델이 발표되고 있다.

YOLOv3는 v2의 backbone인 Darknet-19에서 skip connection 개념을 추가하여 정확도를 개선한 모델인 Darknet-53 모델을 사용했다. 이는 속도와 연산량 측면에서 ResNet-152⁽¹²⁾보다 약 1.5배 더 나은 성능을 보이면서 정확도가 비슷하다. 또한 FPN(feature pyramid network)⁽¹³⁾과 유사한 구조로 3개의 scale을 사용하여 최종 결과를 예측하기 때문에 보다 높은 정확도로 예측이 가능하다. 클래스를 예측할 때에는 softmax 대신 개별 클래스별로 sigmoid를 활용한 이진 분류(binary classification)로 다분류(multi-class classification)를 수행한다.

이에, 본 논문의 화물 분류를 위한 다중 객체 인식 모델로는 YOLO를 사용했으며, 여러 버전 중에서 컨베이어 벨트 위를 빠르게 지나는 화물들의 정보를 확인해야 한다는 점과 화물의 특성상 다중 레이블 분류가 필요하다는 점을 고려하여 속도와 정확도에서 이점을 보이는 YOLOv3 구조를 차용해 모델을 구성했다.

3.1 파이프라인 구조

본 논문에서는 대규모 물류센터라는 특수한 환경에 적용하기 위한 화물 인식 및 분류 방법을 제안한다. 화물 인식 및 분류 과정의 전체 파이프라인은 그림 1에 제시되어 있다. 화물의 정보를 확인하는 과정은 크게 체적 측정, 화물 종류 분류 두 단계로 나눌 수 있다. 먼저, LiDAR 센서가 컨베이어 벨트 위를 지나는 화물 영역의 깊이 정보를 측정한다. 검출된 ROI(region of interest)의 깊이 정보를 이용해 제안한 알고리즘에 따라 화물의 윤곽을 추정한다.

LiDAR 센서가 화물을 인식하고 난 뒤, RGB 카메라가 화물을 포함한 영역을 grayscale로 촬영한다. 이 이미지가 화물의 분류를 위한 데이터로 학습된 딥러닝 모델의 입력으로 들어가서, 컨베이어 벨트 위를 지나는 화물의 종류를 분류한다.

제안하는 파이프라인 구조에서 체적 측정하는 과정을 통해 화물의 존재 유무를 알 수 있으므로, 화물 분류 모델은 화물이 들어올 때마다 한 번씩만 수행하도록 한다. 이는 기존의 연구들이 화물 분류 모델을 지속적으로 동작시켜 화물의 유무와 관계없이 반복수행하는 것에 비해 연산량을 줄여 효율적인 모델이라고 할 수 있다. 만약 모델이 물체 기준의 학습 데이터에만 과최적되어 있는 경우 분류 성능이 떨어지게 된다. 하지만 제안하는 모델은 컨베이어 벨트를 빠르게 가동시키는 와중에도 일반적인 분류 성능을 향상시킬 수 있도록 과업 기준의 학습 데이터도 다량 수집하여 학습하였고, 실제 현장에서 요구되는 수준의 강인한 물체 검출 및 분류 성능을 실현하였다.

그림 1 제안한 프로세스의 파이프라인

Fig. 1 Pipeline of the proposed process

3.2 체적 측정 알고리즘

LiDAR는 컨베이어 벨트 상단에 설치된다. 체적을 측정하는 전체 과정은 그림 2에 제시되어 있다. 컨베이어 벨트와 LiDAR 사이의 거리는 고정되어 있으므로, 일정한 임계값(threshold)을 설정하여 화물의 존재 유무를 검출할 수 있다. 화물이 검출되면, 검출된 ROI의 깊이 정보를 기준으로 화물의 윤곽을 추정한다. 검출된 윤곽의 꼭짓점을 기준으로 화물의 폭과 너비(w, h)를 산출하고, 검출된 윤곽 내 깊이 정보를 바탕으로 화물의 깊이(d)를 산출한다. 화물의 깊이는 사전에 LiDAR가 설치된 높이를 바탕으로 기저 평면을 설정하고, 기저 평면과 측정된 값 사이의 상대 거리를 이용해 산출한다.

검출된 윤곽의 꼭짓점 데이터를 실 좌표로 변환 후에 화물의 폭과 너비를 꼭짓점 3개를 가지고 산출하는 알고리즘은 다음과 같다.

그림 3과 같이 좌표 공간의 3개의 꼭짓점을 선정하여 각 꼭짓점 사이의 거리를 좌표 사이의 거리 구하는 공식을 통해 구하게 된다. 그림 3에서 회색 꼭짓점은 사용하지 않고 검은색 꼭짓점 3개를 사용하여 거리를 구하는 식은 다음과 같다. 식 (1)은 두 개의 꼭짓점 좌표인 $(x[0],\:y[0])$와 $(x[1],\:y[1])$ 사이의 거리를 구하는 공식으로 w를 얻게 된다. 동일한 방식으로 식 (2)는 $(x[2],\:y[2])$와 $(x[1],\:y[1])$ 사이의 거리를 구해 h를 얻는 공식이다. 이렇게 얻어진 w, h의 값과 d 값을 이용하면 그림 2 (d)와 같은 좌표 평면상의 체적 정보를 얻을 수 있게 된다.

이와 같은 알고리즘으로 정형, 비정형을 포함하는 다양한 종류의 화물의 체적을 구하게 된다. 비닐 화물 같은 비정형 화물의 경우 특성상 꼭짓점 좌표 변환 전인 윤곽 인식 결과 값을 체적 정보로 활용하는 것이 더욱 정확한 체적 값을 산출할 수 있다. 하지만 화물 적재를 위한 체적 정보는 화물의 가로, 세로, 높이의 값을 통해 최적의 적재 시나리오를 구성하므로 윤곽 인식에서 좌표 평면상의 체적으로 가공된 정보를 활용한다.

그림 2 체적 측정 과정

Fig. 2 The volumetric measurement process

그림 3 체적 측정

Fig. 3 The volumetric measurement

3.3 딥러닝 기반 화물 분류 모델

앞선 체적 측정 알고리즘을 통해 화물의 존재 유무를 알 수 있으므로, 화물 분류 모델은 화물이 들어올 때마다 단 한 번씩만 수행하면 된다. 이는 물체의 유무와 관계없이 분류 모델을 반복 수행해야 하는 기존 연구와 대비해 연산량이 획기적으로 줄어든다는 장점이 된다⁽⁴⁾,⁽¹⁴⁾-⁽¹⁶⁾. 화물 분류 모델의 전체 구조는 그림 4에 제시되어 있다. 화물 분류 모델은 잘 알려진 객체 탐지 네트워크 중의 하나인 YOLOv3를 기반으로 한다.

카메라를 통해 획득한 이미지 내에서 각 항목을 인식하는 과정은 다음과 같다. 우선, 카메라를 통해 5320x4600의 grayscale 이미지가 촬영된다. Grayscale을 선택한 이유는 빠르게 움직이는 컨베이어 벨트를 감안하여 고화질의 이미지를 약 0.5m/s의 고속의 속도로 취득함과 동시에, 다양한 환경(조명 세기, 색온도 등)에서도 일관적인 화물 이미지를 취득하여 모델의 범용성을 높이기 위함이다.

학습에 필요한 이미지는 물류센터 내 컨베이어 벨트 시스템 환경을 최대한 반영해 수집한다. 우선 실제 현장을 참고해 컨베이어 벨트 시스템을 소규모 장치로 구현한다. 구현된 장치는 그림 5에 제시되어 있다. 학습 데이터를 위한 화물 또한 실제 택배 화물들을 다량 수집해 활용한다. 수집된 실제 택배 화물들을 모양에 따라 10개의 클래스로 나누고 각각의 화물마다 다양한 배치로 여러 번 컨베이어 벨트를 통과시키며 최대한 다수의 이미지를 취득한다. 취득한 이미지는 클래스에 따라 라벨링하고 딥러닝 모델 학습에 활용한다.

실제 화물을 분류할 때 RGB 카메라에 의해 촬영된 이미지는 학습 데이터를 이용해 학습이 완료된 YOLOv3 모델의 입력으로 들어간다. 출력으로는 검출된 화물의 분류 정보가 vector 형태로 나오게 된다. 출력 vector의 자세한 구성은 표 1에 자세히 설명되어 있다. 화물 하나를 여러 번 중복해 검출할 수도 있고, 이에 여러 가지 분류 후보를 결과로 얻을 수 있지만, 최종 화물의 분류는 vector 내 confidence 값이 가장 높은 바운딩 박스의 클래스로 결정한다.

그림 4 객체 인식 모델 구조(YOLOv3)

Fig. 4 Object detection model structure(YOLOv3)

그림 5 구현한 화물정보 인식기

Fig. 5 Cargo information recognizer

4.1 데이터 세트의 구성

화물 인식 학습에 사용된 데이터는 실제 컨베이어 벨트를 통과하는 화물로부터 취득한 이미지이다. 이때, 앞서 모델 설명에서 언급한 바와 같이 이미지는 grayscale로 취득한 이미지를 사용한다. 취득한 이미지의 화물 종류별 예시는 그림 6에 요약되어 있다. 총 10종으로, 0: 소형박스(Small Box), 1:대형박스(Large Box), 2:정형무늬박스(Patterned Box), 3:스티로폼(Styrofoam), 4:긴박스(Long Box), 5:흰색 비정형(White Unstructured), 6:검정색 비정형(Black Unstructured), 7:무늬 비정형(Pattern Unstructured), 8:반사 비정형(Reflective Unstructured), 9:원통형(Cylindrical)으로 구성하였다. 학습 효율 증대 및 다양한 상황에서의 범용성을 위하여 PASCAL VOC 2007 데이터 세트⁽¹⁷⁾로 YOLOv3 모델을 사전 학습했다. 컨베이어 벨트를 통과하는 화물로부터 취득한 학습 데이터는 총 9860개, 테스트 데이터는 총 2420개로 각 화물 종류당 자세한 수량은 표 2, 표 3에서 확인할 수 있다.

그림 6 화물 학습 데이터 셋

Fig. 6 Cargo training dataset

해당 학습 데이터를 통해 PASCAL VOC 2007 데이터 세트⁽¹⁷⁾로 사전 학습된 YOLOv3 모델에 Fine Tuning 하였다.

4.2 화물 체적 계산 결과

화물의 체적 계산은 화물 분류에 앞서 컨베이어 벨트를 지나가는 모든 화물에 대해 제안한 알고리즘을 통해 진행했다. 알고리즘의 검증은 모든 화물에 대해 화물의 실제 체적 대비 알고리즘이 측정한 체적의 비율을 백분율로 계산해 정리하였다. 결과는 표 4와 같이 10종의 화물 종류에 대해서 보통 90% 이상으로 일치하는 결과를 얻었고, 가장 안 좋은 경우 흑색 비정형 화물에서 약 80%, 전체 평균으로는 93.44%의 정확도를 얻었다. 비정형 화물의 경우 상자의 형태가 아니므로 어느 정도 압력에 의해 부피가 줄어들 수 있음을 감안하면 충분히 의미 있는 결과라고 할 수 있다.

4.3 화물 분류 결과

화물 인식을 위한 모델은 마찬가지로 컨베이어 벨트를 지나는 모든 테스트용 화물에 대해 이미지를 촬영하고 이를 제안한 분류 모델을 통과시켜 진행했다. 당연히 모든 이미지가 학습 데이터에는 포함되지 않았던 처음 보는 이미지이며, 표 2의 총 2420개의 테스트 데이터를 통해 표 5과 같이 mAP(Mean Average Precision) 97.28%를 얻었다. 각 화물에 대한 종류 분류 결과 예시는 그림 7에서 확인이 가능하다. 체적 인식은 LiDAR를 통해 활용하므로 그림 7의 결과에서 표시된 바운딩 박스 등의 위치 좌표는 활용하지 않는다.

4.4 물류센터 환경에서의 시나리오 실험 결과

실제 물류센터의 상하차 환경을 감안하여, 1m/s의 고속의 속도로 컨베이어 벨트가 가동되는 환경에서 중간에 정지하지 않고 균일하지 않은 간격으로 연속으로 무작위의 화물을 투입하는 시나리오로, 화물 체적 계산과 화물 분류를 테스트하였다.

그림 7 10개 종류의 화물에 대한 화물 분류 결과 예시

Fig. 7 Cargo classification examples for 10 types of cargo

시나리오 실험을 진행하기 위해 정상 화물 10개 종류로 구성된 화물군을 구성하고 무작위로 투입할 수 있도록 정리하였다. 특히 화물군의 구성은 화물의 종류 구분에는 합치하지만, 해당 종류의 학습데이터에 포함된 이미지들의 외관(크기, 송장 위치 및 모양 등)과 최대한 유사하지 않은 화물들로 구성하여 실험의 난이도를 높였다. 또한, 화물 투입 순서와 화물을 투입하는 컨베이어 벨트 상의 위치 및 자세를 달리하여 같은 화물군을 총 10회 반복하여 재투입하였다. 구성한 화물군은 그림 8에서 확인할 수 있다.

그림 9는 10개의 화물로 구성된 화물군을 10회 반복 수행한, 총 100회의 체적 계산을 연속으로 수행한 결과이다. 그림에서 확인할 수 있듯이 평균적으로 86.7%의 정확도를 얻었다.

그림 10은 마찬가지로 10개의 화물로 구성된 화물군을 10회 반복 수행한, 총 100회의 화물 분류를 연속으로 수행한 결과이다. 그림에서 알 수 있듯이 총 분류 정확도 100%를 달성했다.

기존의 연구들은 정형화된 상자를 통한 체적 및 화물의 분류를 진행했지만 본 논문에서 제안하는 프로세스는 시나리오 실험에서 비정형 화물을 포함한 다양한 화물에 대해서 높은 정확도를 달성했다. 기존의 연구에서의 체적 인식은 반사가 잘 되는 흰색 상자에 대한 성능이 높고 반사가 안 되는 색상 및 재질의 상자에 대한 성능은 다소 저조하다. 이에 반면 우리의 모델은 그림 9에서 확인할 수 있듯이 재질과 색상에 상관없이 일정한 성능을 보였다. 즉, 상자의 인식은 잘 수행할지라도 화물의 종류를 파악하지 못하는 기존 연구에 비해 제안하는 기술은 10개의 종류로 구분할 수 있는 총 2420개의 화물 테스트 데이터에 대해 mAP 97.28%로 구분할 수 있다. 또한, 실제 시나리오 실험을 통해 100%의 분류 정확도를 보여줬기 때문에 제안하는 프로세스는 효율적인 적재 시나리오를 설정할 수 있다.

그림 8 시나리오 실험 화물군

Fig. 8 Test Cargo cluster for scenario experiment

그림 9 화물 체적 시나리오 실험 결과

Fig. 9 Experimental results for cargo volume scenarios

그림 10 화물 인식 시나리오 실험 결과

Fig. 10 Experimental results for cargo recognition scenarios