1. 서 론

코로나 19로 인해 사회적 거리두기 단계가 강화되면서 온라인 플랫폼을 활용한 비대면 원격수업이 증가하고 있다. 과거 온라인 강의 영상 콘텐츠를 단순히 시청하는 단방향 방식이었으나 정보통신 기술의 발전으로 온라인 강의 중에 실시간으로 함께 토론하며 보고서 작성 등의 임무를 수행하는 양방향 수업 방식으로 변화하고 있는 것이다. 실시간 온라인 수업 또한 시각과 청각의 요소가 강의 전달에 중요한 요소로 작용하기 때문에 시각 자료 및 음질이 중요하며 원격수업에서 효과적인 강의 전달과 의사소통 방법에 관한 지속적인 연구가 필요한 상황이다. 그러나 청각 장애인의 경우 청각적 요소와 단절되어 온라인 수업 참여에 불편함을 느끼는 상황으로 자막 지원, 문자 통역 등의 요구가 있으나 정부나 기관에서 모두 지원하기에는 한계가 있다. 비대면 상황에서 청각 장애인이 갖는 의사소통의 어려움을 해결하고자 선행 연구가 일부 진행되었으나, 주로 웨어러블 디바이스나 별도의 센서를 사용한 연구⁽¹⁾,⁽²⁾로 착용식 추적 장치나 표식 등의 보조 도구가 필요하여 한정된 공간에서 사용해야 하는 제약이 있다. 수어를 인식하는데 보조 장치를 사용하게 된 주요 요인으로는 수어 패턴이 매우 복잡한 변이를 포함하여 그 특징의 추출이나 형태 표현이 매우 어렵기 때문이다. 별도 보조 장치를 사용해야 하는 수어 인식 시스템의 한계를 극복하기 위해 영상 기반 수어 분류 모델이 일부 제안되었는데⁽³⁾,⁽⁴⁾, 앞선 영상 기반 수어 분류 연구의 경우 필터링 기반 손 영역 검출에 많은 시간이 소요되고, 깊이 정보를 활용하기 위해 키넥트 카메라를 영상 센서로 사용해야 했다. 또한 수어를 분류하기 위해 특징 추출과 분류가 다단계로 구성되어 특징 추출 방법에 따라 분류 정확도가 크게 달라지는 문제가 있다.

한편 AlexNet⁽⁵⁾의 등장 이후 심층 학습 기반의 합성곱 신경망(CNN; Convolutional Neural Network) 모델이 영상 분류 문제⁽⁶⁾-⁽⁸⁾를 시작으로 객체 탐지⁽⁹⁾-⁽¹¹⁾, 자세 추정⁽¹²⁾,⁽¹³⁾ 문제에서도 좋은 성능을 보이며 영상 감시, 자율주행 자동차⁽¹⁴⁾ 등 다양한 분야에 활용되며 발전해왔다. 심층 신경망 기반 키포인트 검출 모델을 지문자 인식에 활용한 선행 연구⁽¹⁵⁾도 있었으나 핸드 랜드마크(hand landmark)를 제대로 검출하지 못 하는 경우 필연적으로 지문자 분류 정확도가 떨어진다는 문제가 있다. 앞서 설명한 바와 같이 수어 패턴은 복잡한 변이와 형태를 포함하고 있어 핸드 랜드마크만 수어 분류 모델의 입력 특징으로 사용하는 것보다 손 영역에 해당하는 영상 전체를 활용하는 것이 정보량 측면에서 이득이 크다.

이에 본 논문에서는 앞서 소개한 수어 인식 시스템이 갖는 한계를 극복하고자 합성곱 신경망을 이용하여 영상 기반 수어 인식 문제를 해결하고자 시도한다. 현재 수어 인식 분야에서 널리 알려진 벤치마크 데이터셋이 존재하지 않아 복잡한 심층 신경망 영상 분류 모델을 이용하여 수어 분류 모델을 설계하고 훈련하여 평가하기 어렵다. 이에 복잡한 변이를 포함한 수어를 번역하는 문제를 해결하기 위한 선행 연구로서 본 논문에서는 먼저 알파벳과 숫자로 구성된 지문자 수어 데이터셋인 ASFL 데이터셋을 구축하고, LeNet-5⁽¹⁶⁾ 기반의 지문자 수어 분류 모델을 설계한 후 구글의 손 영역 검출 솔루션인 MediaPipe Hands⁽¹⁷⁾와 연계하여 실시간 지문자 수어 인식 시스템의 프로토타입을 구현함으로써 심층 신경망의 수어 인식에서의 활용 가능성을 실험적으로 검증하고자 한다.

본 논문의 구성은 다음과 같다. 2장에서는 크게 손 영역 검출 단계와 지문자 수어 분류 단계로 구성되는 실시간 지문자 수어 인식 시스템을 소개하고 3장에서는 지문자 수어 데이터셋을 이용한 다양한 지문자 수어 인식 실험을 진행하고 얻은 결과를 고찰하며 마지막 4장에서 결론을 정리한다.

2. 지문자 수어 인식 시스템

본 논문에서 제안한 실시간 지문자 수어 인식 시스템은 그림 1과 같이 영상 획득 단계, 손 영역 검출 단계, 지문자 수어 분류 단계로 구성되어 있다. 영상 획득 단계에서는 시스템에 연결된 카메라로부터 실시간으로 320ｘ240 크기의 RGB 영상 데이터를 프레임 단위로 획득한다.

그림. 1. 제안한 실시간 지문자 수어 인식 시스템 구조

Fig. 1. Diagram of the proposed real-time finger sign language recognition system

2.1 손 영역 검출 단계

손 영역 검출 단계에서는 구글의 MediaPipe⁽¹⁷⁾ 라이브러리를 사용하여 프레임 단위로 획득된 영상 데이터로부터 손 영역을 검출한다. MediaPipe 라이브러리는 얼굴 인식, 자세 추정, 객체 검출, 객체 추적 등 라이브 및 스트리밍 미디어를 위한 맞춤형 기계 학습 솔루션을 제공하며 빠른 연산을 위해 객체 검출에 SSD(Single-shot detector)⁽¹⁸⁾를 사용하는 것으로 알려져 있다.

MediaPipe 라이브러리가 제공하는 MediaPipe Hands 솔루션을 사용하면 프레임 단위로 얻어낸 RGB 영상 데이터에서 사전에 정의된 21개의 손 관절 키포인트 검출 결과를 얻을 수 있다. 검출된 각 키포인트 값은 320×240 영상의 (x, y) 좌표값으로 주어지는데 예측된 키포인트 좌푯값의 최솟값과 최댓값으로부터 손 영역을 포함하는 사각형의 위치, 너비, 높이를 계산한다. 지문자 수어 분류 모델의 입력 데이터로 사용하기 위해 손 영역을 포함하는 사각형의 두 변 중 큰 변의 길이에 맞춰 정사각형으로 손 영역을 확장하고 추가로 상하좌우에 20픽셀의 마진을 주었다. 그림 2는 입력 영상 데이터로부터 손 영역을 검출한 예를 보여준다.

그림. 2. 손 영역 검출 결과의 예 (a) 검출된 손 키포인트 (b) 검출한 손 영역

Fig. 2. Example of hand region detection (a) detected hand keypoints (b) cropped hand region

2.2 지문자 수어 분류 단계

지문자 수어 분류 단계에서는 표 1의 LeNet-5⁽¹⁶⁾를 기본 심층 신경망 모델로 하여 손 영역 검출 단계에서 검출한 손 영역이 포함하는 지문자를 분류한다. LeNet-5는 3개의 합성곱 층(convolutional layer)와 2개의 풀링 층(pooling layer), 1개의 밀집 층(fully connected layer)으로 구성되어 있으며 합성곱 층과 풀링 층마다 별도의 패딩 정책을 취한다. 합성곱 층의 활성화 함수로 하이퍼볼릭 탄젠트(tanh; hyperbolic tangent)함수를 사용하며, 다중 분류 문제를 해결하기 위해 출력 층의 활성화 함수로 소프트맥스(softmax)를 사용한다.

표 1. LeNet-5 모델의 구조

Table 1. Architecture of LeNet-5 model

Type	Filters	Size/Stride	Output
Convolutional	6	5×5	28×28
Avgpool		2×2/2	14×14
Convolutional	16	5×5	10×10
Avgpool		2×2/2	5×5
Convolutional	120	5×5	1×1
Fully connected		84

심층 신경망 모델의 입력 데이터 크기는 32×32×1로 손 영역 검출 단계에서 검출한 정사각형 영역을 32×32의 크기로 정규화한 후 3채널 RGB 영상을 1채널 회색조(grayscale) 영상으로 변환하여 분류 모델에 입력하면 각 지문자 수어 클래스에 대한 예측 확률을 출력하고 예측 확률 중 가장 높은 확률을 보인 클래스로 검출한 지문자 수어를 분류한다. 심층 신경망 모델의 입력 데이터를 $X$라고 하고, 분류하려는 지문자 라벨에 대한 확률변수를 $y$라고 할 때, 지문자 분류 문제는 다음과 같이 나타낼 수 있다.

(1)

$y^{*}=\arg\max_{y\in Y}P(y vert X)$

그림 3은 본 논문에서 제안하는 실시간 지문자 수어 인식 시스템의 프로토타입을 구현하여 실행한 예이다. 그림 3에서는 실시간으로 영상에서 검출한 손 영역을 0.9958의 확률을 가지고 영문자 ‘P’로 분류한 결과를 보여준다. 그림 3의 오른쪽 그림은 MediaPipe Hands 솔루션을 사용하여 검출한 손 영역과 심층 신경망의 입력으로 사용하기 위해 변환된 1채널 회색조 영상을 보여준다.

그림. 3. 실시간 지문자 수어 인식 시스템의 프로토타입

Fig. 3. Prototype of real-time finger sign recognition system

3. 실험 결과

이번 장에서는 지문자 수어 분류 모델의 성능 평가에 사용하기 위해 고안한 AFSL 데이터셋을 소개하고 LeNet-5 분류 모델을 기본으로 다양한 심층 신경망 기법들을 적용한 지문자 수어 분류 실험 결과를 분석하고 고찰한다.

3.1 AFSL 데이터셋

2장에서 제안한 지문자 수어 분류 모델의 성능 평가를 위한 영문자와 숫자를 모두 포함하는 등 다양한 지문자 수어로 구성된 데이터셋이 현존하지 않아 캐글(kaggle) 사이트로부터 얻은 영문자 수어 데이터셋인 Sign Language MNIST⁽¹⁹⁾와 숫자 수어 데이터셋⁽²⁰⁾을 병합하여 표 2와 그림 4와 같이 미국식 지문자 수어 데이터셋(AFSL Dataset; American Finger Sign Language Dataset)을 구축하였다.

표 2. AFSL 데이터셋 요약

Table 2. Summary of AFSL dataset

구성	훈련 데이터	검증 데이터	테스트 데이터	클래스 수
영문자	21,964	5,491	7,172	24
숫자	9,600	2,400	3,000	10
영문자 숫자	31,564	7,891	10,172	34

그림. 4. AFSL 데이터셋 데이터 샘플 (a) 영문자 지문자 수어 (b) 숫자 지문자 수어

Fig. 4. Data Samples of AFSL dataset (a) alphabet finger sign (b) number finger sign

알파벳 26자 중 ‘J’와 ‘Z’는 연속된 동작(변이)으로 표현하기 때문에 영문자 지문자 수어는 24개의 클래스로 구성되어 있으며, 숫자 지문자 수어 데이터셋은 0에서부터 9까지 10개의 클래스로 구성되어 있어 AFSL 데이터셋은 총 34개의 클래스를 분류하는 것을 목적으로 한다.

4. 결 론

본 논문에서는 청각 장애인이 갖는 온라인에서 실시간 소통의 어려움을 극복하기 위한 방법으로 합성곱 신경망을 이용한 지문자 수어 분류 시스템을 제안하였다. 지문자 수어 인식 모델의 분류 정확도를 평가하기 위해 영문자 수어와 숫자 수어로 구성된 미국식 지문자 수어 데이터셋을 구축하였으며, LeNet-5 모델을 지문자 수어 분류에 적용했을 때 발생한 과적합 문제를 다양한 시도를 통해 해결하였다. MediaPipe Hands 솔루션과 결합하여 실시간 지문자 수어 인식 시스템 프로토타입을 구현하였으며, 향후 수어 분류 모델을 고도화하여 분류 정확도를 개선하고 순환 신경망(RNN; Recurrent Neural Networks)을 적용해 연속된 지문자 수어 영문자 ‘J’와 ‘Z’을 인식할 수 있도록 지문자 수어 분류 모델을 개선할 계획이며 나아가 범용적인 영상 기반 수어 번역 모델을 완성할 계획이다.