• 대한전기학회
Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers
  • COPE
  • kcse
  • 한국과학기술단체총연합회
  • 한국학술지인용색인
  • Scopus
  • crossref
  • orcid

  1. (Dept. of Electrical Engineering, Incheon National University, Korea.)
  2. (Dept. of Embedded System Engineering, Incheon National University, Korea.)



Healthcare, Wearable device, IMU, Motion classification, Transfer learning

1. 서 론

최근 IoT 시대의 핵심 기술 중 하나인 웨어러블 기기가 큰 관심을 받으며 미래 산업의 기대주로 꼽히고 있다(1). 웨어러블 기기는 사용자가 신체 동작 중에 착용할 수 있도록 만들어진 전자기기이다. 신체와의 소통이 가능한 웨어러블 기기는 최근 소형화 및 배터리 성능의 향상, 다양한 기능의 개발 등으로 수요가 더욱 증가하고 있다. 특히 COVID-19 유행 이후 집단 체육활동에 대한 규제 및 감염 우려에 따라 개인의 건강관리에 홈 트레이닝 문화가 성행하면서 헬스케어 및 피트니스 웨어러블 기기에 더 많은 관심이 나타나고 있다(2-3).

웨어러블 기기에는 착용 형태에 따라 크게 휴대하는 형태의 제품 및 액세서리와 같은 액세서리형, 의류 형태인 의류 일체형, 신체에 부착할 수 있는 형태의 신체 부착형, 신체에 직접 이식하거나 복용하는 형태의 생체 이식형으로 분류된다(4). 초기에는 손목에 착용하는 액세서리형이 주로 사용되었으나 현재는 보다 많은 사용자의 생체 데이터를 측정할 수 있는 의류 일체형의 디바이스도 활발히 개발되고 있다(5).

의류 일체형 웨어러블 디바이스를 통해 구현할 수 있는 대표적인 기술로 모션캡쳐 기술과 동작분석 기술이 있다. 모션캡쳐는 피관찰자의 움직임을 3차원 공간에서 추적하고 저장하여 다른 어플리케이션에 사용할 수 있도록 만든 기술이다(6).

그림. 1. 센서 배치 & IMU, 플렉스 압력 센서

Fig. 1. Sensors placement & IMU, flex pressure sensor

../../Resources/kiee/KIEE.2023.72.11.1434/fig1.png

이러한 모션캡쳐 서비스는 데이터를 추출하는 방식에 따라 광학식, 기계식, 전자기장식 등으로 다양하게 구현되어왔다. 대표적인 광학식 모션캡쳐의 경우 피관찰자의 신체에 부위마다 마커를 부착한 뒤 다수의 카메라가 촬영한 영상을 기반으로 위치를 추정하는 방식이다(7). 그래서 광학식 모션캡쳐는 고속촬영과 다수의 카메라만 확보된다면 정확한 표현이 가능하다는 장점이 있다(8). 하지만 반대로 카메라의 개수가 적으면 관찰에 사각지대가 발생하여 정확한 추정이 어려워지는 등 환경적인 요소에 제약받는다는 한계가 있다. 이에 반해 관성센서 기반일 경우 슈트를 착용하면 비교적 공간적인 제약 없이 모션캡쳐나 동작분석을 할 수 있다(9). 또한 신체 전반에 부착된 센서 데이터로부터 정확한 판단이 가능해지므로 액세서리형 디바이스 보다 정확한 운동 분석 및 가이드 제공이 가능해진다. 하지만 다수의 IMU(Inertial Measurement Unit)를 사용할 경우 제작 단가가 높아지게 된다는 단점이 있다.

그림. 2. 전체 시스템 구조도

Fig. 2. System architecture

../../Resources/kiee/KIEE.2023.72.11.1434/fig2.png

이러한 사용 공간적 한계를 극복함과 동시에 장비 제작 비용 절감을 목표로 본 논문에서는 현재 개발 중인 IMU 대비 훨씬 저렴하게 양산 가능한 플렉스 압력센서를 이용하여 모션캡쳐와 동작분류가 가능한 의류 일체형 웨어러블 디바이스를 제시한다. 제시한 방식은 카메라 없이 사용할 수 있기에 공간제약을 받지 않으며, 최소한의 IMU와 플렉스 압력센서를 조합하여 구성하여 제작 단가를 낮출 수 있다는 장점이 있다. 제작된 시스템을 기반으로 전이 학습 기반 운동 동작 분류 알고리즘 및 스켈레톤 모델을 기반으로 하는 자세 추정 및 정확도 평가 알고리즘을 구현하였다. 본 연구의 주요 기여 사항은 다음과 같이 요약할 수 있다.

- 사용 공간의 제약을 받지 않는 비 광학식 모션캡쳐 및 동작분석 기법구현

- 장비 제작 단가 절감을 위해 다수의 IMU만을 사용하지 않고 IMU와 플렉스 압력센서를 함께 사용하여 웨어러블 장비 개발

- 적은 수의 데이터로도 분류 정확도를 높이기 위해 사전 학습된 Inception V3를 이용한 전이학습 기법 적용

2. 본 론

2.1 하드웨어 구성

사용자의 동작을 분석하기 위해 제작된 하드웨어의 센서 구성도는 그림 1과 같다. 상체부 기준으로 등, 왼팔 상완, 오른팔 상완에 IMU를 각 1개, 양팔 팔꿈치에 각각 플렉스 압력 센서를 3개씩 배치하였다. 하체부 또한 허리, 양쪽 허벅지 앞부분에 IMU를 1개씩, 양쪽 무릎 부분에 관절 당 3개의 플렉스 압력센서를 배치하였다.

본 연구에 사용된 IMU는 미국 InvenSense사에서 제작한 MPU6050이다. MPU6050은 각 채널당 16bit ADC 모듈을 가진 MEMS(Micro Electro Mechanical Systems) 기반 관성센서로써 x, y, z 축의 선형 가속도, 자이로스코프 값을 알 수 있다. 플렉스 압력센서는 13cm의 길이를 가졌으며 구부러진 정도, 압력의 정도에 따라 저항값이 바뀌는 특징을 가지고 있다. 초기 저항은 10MΩ이며 구부러지는 정도에 따라 150Ω까지 가변이 가능하다.

IMU를 신체에 최대한 밀착시킬 경우 근육의 수축, 이완 상태에 따라 달라지는 근육의 모양 때문에 자세 추정에 방해가 될 수 있다(10). 그래서 본 연구에서는 이러한 영향을 줄이기 위해 그림 1과 같이 IMU 센서를 피부에 바로 부착하는 방법 대신 1x5.5x8의 부피를 규격을 가진 브레드보드 위에 IMU 센서를 부착 후 착용하였다.

해당 센서들은 상체부와 하체부로 나뉘어 2개의 아두이노 Due 보드에 연결했다. MPU6050은 I2C 통신, 플렉스 압력센서는 아날로그 입력을 통해 데이터를 수신하도록 처리하였으며 Due 보드는 PC와의 serial 통신으로 MATLAB 환경에 센서 데이터를 전송하게 인터페이스를 맞췄다.

2.2 동작분류 및 모션캡쳐 알고리즘의 전체 시스템 구조

그림 2는 본 논문에서 제시하는 시스템의 전체적인 구조도이다. 사용자의 움직임을 확인하는 별도의 카메라 없이 의류 일체형 웨어러블 디바이스만을 이용하여 사용자가 어떤 근력운동을 하는지 분류하고, 해당 근력운동에서 정확한 자세를 취하고 있는지 파악하는 시스템을 구성하였다. 의류 일체형 웨어러블 디바이스를 착용한 사용자는 움직임을 시작하기 전에 특정 자세를 취하여 캘리브레이션 과정을 진행한다. 이후 런지, 스쿼트 등의 운동 동작을 시작하면 IMU와 플렉스 압력센서의 신호가 시스템으로 전달된다. 시스템은 동작분류와 모션캡처로 구분되며 동작분류는 센서들의 값에 wavelet 변환을 적용하여 실시간으로 사용자가 어떤 운동을 하는지 파악하기 위해 구성된다. 모션캡처는 사용자가 해당 동작을 정확하게 수행하는지 파악하기 위한 가이드를 제시하기 위해 구성된다.

2.3 모션캡쳐

본 논문에서 제시하는 시스템은 사용자가 별도의 조작 없이 운동을 시작하면 즉시 해당 운동이 분류되고, 해당 운동의 정확한 자세가 TV 또는 개인 디스플레이에 제공된다. 이 때 사용자가 올바른 자세를 유지하며 운동하는지 확인하기 위해서는 의류 일체형 웨어러블 디바이스를 착용한 사용자의 움직임을 실시간으로 파악할 필요가 있다.

카메라 없이 사용자의 움직임을 파악하기 위해 IMU와 플렉스 압력센서를 기반으로 한 모션캡쳐 시스템을 구성한다. 이때, 인간의 움직임을 그림 3과 같은 스켈레톤 모델로 나타낸다. 각 부위의 좌표계 통일을 위해 시작 정자세 기준으로 사용자 신체의 왼쪽을 x축 방향, 후면을 y축 방향, 중력 반대 방향을 z축 방향으로 전역 좌표계를 정의하였으며 IMU 센서의 body frame도 전역좌표에 맞게 좌표변환을 진행한다. 본 연구의 스켈레톤 모델에 설정된 관절은 그림 3과 같이 허리, 등, 어깨, 골반, 무릎, 팔꿈치이다. 상체부의 등, 오른쪽 팔, 왼쪽 팔, 하체부의 허리, 오른쪽 허벅지, 왼쪽 허벅지 순으로 IMU 센서 인덱싱을 하였다.

그림. 3. 스켈레톤 모델링(정면 기준), IMU 인덱싱

Fig. 3. Skeleton modeling & IMU index

../../Resources/kiee/KIEE.2023.72.11.1434/fig3.png

의류 일체형 웨어러블 디바이스의 경우, 착용 과정에서 사용자에 따라 다른 체형, 옷의 뒤틀어짐 등에 의해 의도치 않은 IMU의 뒤틀림이 발생할 수 있다. 플렉스 압력 센서 또한 의류에 내장되어 있기에 사용자의 체형에 따라 밀착 정도가 달라지며, 같은 동작을 수행하더라도 구부림 각도 값을 나타내는 플렉스 압력센서의 출력 저항값이 다를 수 있다. 이러한 현상을 해결하기 위해 초기 기울어진 IMU의 각도를 보상해줄 필요가 있으며, 사용자 체형에 맞춰 플렉스 압력센서의 저항 출력 최대, 최솟값을 파악하는 과정이 필요하다.

본 연구에서의 캘리브레이션은 알고리즘 시작 10초간 팔, 다리 관절을 최대한 구부린 자세를 유지하면서 데이터를 수집한다. 이어서 다음 10초간 정자세로 정지상태를 유지하며 데이터를 수집한다. 선행 동작에서는 사용자가 팔꿈치, 무릎을 최대한 구부렸다 간주하여 저장된 플렉스 압력 센서의 값의 평균값이 최대 구부림 각도(135°)에 해당한다고 정의하였다. 그리고 정자세에서 수집된 각 IMU 데이터는 다른 움직임이 없었기 때문에 중력가속도에만 영향을 받았다고 가정하여 식(1), 식(2), 식(3)과 같이 저장된 x, y, z 가속도들의 평균값끼리 arctan을 통해 기울어진 각을 계산한다. 계산된 각만큼 초기 자세에 보상해주어 정확한 정자세를 구현하였다. 또한 후행 동작인 정자세에서 수집된 플렉스 압력 센 데이터들의 평균값은 팔꿈치와 무릎을 최대한 편 상태라고 간주하여 구부림 각도가 0°이라고 정의하였다. 알고리즘 동작 시 출력되는 플렉스 압력센서의 값으로 사전에 정의된 최대최솟값 사이 비율 관계를 이용해 0°~135°의 팔꿈치, 무릎 각도를 추정하였다.

(1)
$\rho=\arctan \left(\frac{A_x}{\sqrt{A_y^2+A_z^2}}\right)$

(2)
$\phi=\arctan \left(\frac{A_y}{\sqrt{A_x^2+A_z^2}}\right)$

(3)
$\Theta=\arctan \left(\frac{\sqrt{A_x^2+A_y^2}}{A_z}\right)$

캘리브레이션 이후 사용자가 움직이는 과정에서 바뀌는 관절의 각도는 해당 부위에 부착된 IMU의 자세 기울기를 추정함으로써 알 수 있다. IMU에서 출력되는 선형 가속도와 자이로스코프 값의 융합해서 자세각을 추정할 수 있는데 대표적인 방법이 상보 필터이다(11). 상보필터는 가속도 값만으로 각도를 구했을 때 노이즈와 진동에 취약하다는 단점과 자이로스코프 값만으로 각도를 구했을 때 드리프트가 발생한다는 단점을 상호보완한 필터링 기법으로써 식(4)와 같이 정의된다.

(4)
$\hat{\theta}=\alpha \theta_{\text {gy ro }}+(1-\alpha) \theta_{\text {acc }}$

고주파에서 응답 특성이 좋은 자이로스코프 값은 고주파 필터를 통과시키고 저주파에서 응답 특성이 좋은 가속도 값은 저주파 필터를 적용시킨 뒤 각각 가중치 α와 (1-α)를 곱하고 두 값을 더한다. 이때 α 값에 따라 필터의 특성이 바뀌는데 α 값이 커질수록 자이로스코프의 비중이 커지므로 안정적인 출력이 나오지만 반응이 느리다는 단점이 있다. 이에 반해 α값 작아 지면 가속도의 비중이 커지므로 노이지한 출력을 보이지만 빠르게 반응한다는 장점이 있다. 이러한 특성을 고려하여 본 연구에서는 비교적 이동반경이 작지만 상·하체의 중심이 되는 2번, 5번 IMU의 상보필터에는 α 값을 0.99로, 팔다리 부분을 담당하여 많은 움직임이 예상되는 나머지 4개의 IMU의 상보필터에는 α 값을 0.65로 설정하였다.

방향 코사인 행렬(DCM)은 서로 다른 두 좌표계의 단위 벡터 간에 내적들이 성분으로 이루어진 행렬이며 벡터의 좌표변환의 방식으로 사용된다. 상보필터에서 출력되는 각도는 스켈레톤 모델의 시작 자세를 기준으로 한 오일러 각도이기 때문에 이 각도를 Euler - Direct cosine matrix 변환을 거쳐 방향 코사인 행렬을 구하면 그림 3에 정의한 스켈레톤 모델에 forward kinematics를 쉽게 적용할 수 있다.

(5)
\begin{align*} R_{xyz}= R_{x}(\phi)R_{y}(\theta)R_{z}(\psi)\\ =\begin{bmatrix}c_{\theta}c_{\psi}&c_{\theta}s_{\psi}&-s_{\theta}\\s_{\phi}s_{\theta}c_{\psi}-c_{\theta}s_{\psi}&s_{\phi}s_{\theta}s_{\psi}-c_{\phi}c_{\psi}&c_{\theta}s_{\phi}\\c_{\phi}s_{\theta}c_{\psi}-c_{\theta}s_{\psi}&c_{\phi}s_{\theta}s_{\psi}-s_{\phi}c_{\psi}&c_{\theta}c_{\phi}\end{bmatrix} \end{align*}

관절이 벌어진 각도와 각 부위의 길이를 알 때 그 끝 지점을 알 수 있다는 점에서 정기구학의 개념과 같다. 상체를 기준으로 중심이 되는 등의 자세를 먼저 구하면 끝 지점이 하위 관절인 어깨의 시작점이라고 할 수 있다. 이러한 구조로 손목 발목까지 연결해 나가면 사용자의 움직임을 추종할 수 있다.

본 논문에서 제안한 시스템은 상체 3개, 하체 3개 총 6개의 IMU를 이용하여 구성하였기에, 팔꿈치와 무릎 관절 이후의 움직임은 플렉스 압력센서를 이용하여 forward kinematics를 적용할 필요가 있다. 스켈레톤 모델에서 플렉스 압력센서가 관여하는 팔꿈치와 무릎의 각도는 오일러 좌표 기준으로 상위 관절인 팔꿈치와 허벅지의 부착된 IMU 센서의 관성 좌표계 기준 y축과 z축은 동일하고 x축만 다르다. 이를 이용하여 플렉스 압력센서의 저항 출력값을 이용하여 초깃값 대비 변화된 양만큼 x축의 회전을 고려해 줄 수 있다.

2.4 동작분류

본 논문에서 제시하는 동작분류는 사용자가 별도의 조작 없이 운동을 시작하면 즉시 해당 운동이 분류하기 위해 구성된다. 다양한 근력운동을 순차적으로 할 때 기존 운동 가이드 시스템의 경우 운동 종류를 바꿀 때마다 사용자가 어떤 근력운동을 할지 선택하는 과정이 있어야 한다. 이러한 과정을 없애고 사용자가 멈춤 없이 근력운동을 순차적으로 할 수 있도록 사용자가 현재 수행하고 있는 운동을 실시간으로 분류하는 알고리즘을 구성한다. 분류할 운동 동작으로는 각 부위별 움직임을 다양하게 반영할 수 있도록 스쿼트, 버피, 런지, 트위스트, 덤벨 프레스를 선정하였다.

의류 일체형 착용형 디바이스를 착용한 사용자가 운동을 시작하면 6개의 IMU에서는 가속도와 자이로스코프 신호가 출력된다. IMU 센서는 출력신호의 노이즈가 크고 제품마다 상이한 바이어스와 scale factor를 가진다는 특징이 있다. 이러한 점을 고려하여 주파수 영역에서의 신호 분석을 통해 신호의 맥락적인 정보를 추가로 파악할 필요가 있었고 본 연구에서는 웨이블릿 변환을 그 방법으로 사용하였다. 연속 웨이블릿 변환은 임의의 시간영역 신호를 웨이블릿 함수를 기저로 사용하여 주파수 성분을 분석하는 방법이며 식(6)과 같이 표현할 수 있다(12).

(6)
$T(a,\:b)=\dfrac{1}{\sqrt{a}}\int_{-\infty}^{\infty}x(t)\psi *\dfrac{t-b}{a}dt$

$x(t)$는 시간영역의 신호이며 a와 b는 입력 신호의 scaling 및 shifting을 위한 파라미터들이고, ψ가 웨이블릿 함수이다. 웨이블릿 함수는 정해진 시간 동안 증가와 반복을 반복하여 평균이 0인 신호이며 대표적으로 Mexican Hat, Morlet, Biorthoganal 등이 있다. 웨이블릿 변환은 푸리에 변환과 비슷한 역할을 하지만 푸리에 변환은 신호가 시간에 대해서 변하지 않는다는 가정하에 단일 주파수에 대한 정보만으로 신호를 분석하는 반면 웨이블릿 변환은 작은 주파수에선 넓은 윈도우로 큰 주파수에선 좁은 윈도우로 스케일 변화시키며 연산한다. 그러므로 신호가 시간에 따라 주파수 성분이 변화하더라도 정확한 분석을 할 수 있다(13).

본 연구에서는 각각의 IMU에서 출력되는 선형 가속도 데이터에 $a_{x},\: a_{y},\: a_{z}$대해 연속 웨이블릿 변환시켰고 생성된 이미지를 R, G, B 채널에 순서대로 배정하여 3차원 이미지를 만들었다. 자이로스코프 데이터에 대해서도 이 과정을 동일하게 적용하였다. 생성된 12개의 이미지를 합쳐 하나의 새로운 입력 이미지를 정의해주었으며 입력의 배열과 동작에 따른 이미지 결과는 그림 4와 같다.

그림. 4. 스켈레톤 모델링(정면 기준), IMU 인덱싱

Fig. 4. Skeleton modeling & IMU index

../../Resources/kiee/KIEE.2023.72.11.1434/fig4.png

그림 4를 통해 비교적 팔 동작만으로 수행되는 덤벨 동작의 경우 이미지 상단부에 특징이 나타나고 전신운동인 버피의 경우 이미지 전반적으로 신호가 활성화된 것을 확인할 수 있다. 또한 상체를 유지하고 하체를 구부리는 동작인 스쿼트와 런지의 경우 상체의 IMU는 유사한 패턴으로 출력이 나오지만, 하체의 IMU가 다른 패턴을 보여주고 있음을 확인할 수 있다.

웨이블릿 변환을 통해 이미지로 재생성 된 센서의 신호를 CNN (convolution neural network)를 통해 분류하였다. 딥러닝 모델은 방대한 파라미터들을 고려하여 사전에 많은 양의 데이터를 확보해야 하는데 대부분의 경우 데이터를 수집하는 과정에서 큰 비용과 자원이 요구된다. 이러한 문제의 해결책으로 특정 환경, 목적 아래서 이미 학습이 이루어진 모델의 일부 혹은 전체를 가져와 다른 분야에 응용하여 효과를 볼 수 있는 전이 학습이 사용된다. 본 연구에서도 다양한 사용자의 동작으로 훈련 데이터셋을 확보하지 못한 조건에서 최대한 높은 성능을 만들어 내기 위해 전이 학습을 사용하였다(14).

사용된 딥러닝 모델은 Inception v3이며 Inception v3는 Google에서 제작한 네트워크로써 GoogLeNet으로 알려진 Inception v1을 개선한 모델이다. 비대칭 구조와 합성곱 분해로 연산량과 파라미터를 줄이면서 정확성을 높였다(15).

MATLAB 환경에서 Deep Learning Toolbox을 이용하여 개발을 진행하였으며 훈련데이터는 동작 클래스별로 약 100개 정도 확보하였고 train/validation 비율은 8.5:1.5로 지정하였다. 초기 learning rate는 0.005로 설정하였으며 Minibatch size는 20으로 하고 적은 데이터셋의 규모를 고려하여 epoch는 30으로 하였다. 학습 결과 92.22%의 검증 정확도를 나타내었다.

CNN 모델학습을 위해 임의의 사용자가 의류 일체형 웨어러블 디바이스를 착용하고 훈련데이터를 수집하는 과정을 진행했다. 데이터 수집 시 임의의 사용자는 2초의 시간 간격을 두고 각 동작 별로 1회의 동작을 수행하게 된다. 하지만 명확하게 구분된 훈련데이터 대비 실제 시스템을 사용할 때는 연속적인 동작 변화가 발생하게 되며, 이로 인해 센서로부터 연속된 입력이 들어왔을 때에는 분류 정확도가 낮아지기도 한다. 이를 방지하기 위해 동작 분류 알고리즘 최종 출력단에 슬라이딩 윈도우를 구성했다. 5만큼의 사이즈를 가진 윈도우가 같이 이동하며 윈도우 내에서 최빈값을 해당 동작으로 출력하도록 그림 5와 같이 설계하였다.

그림. 5. 슬라이딩 윈도우를 통한 분류

Fig. 5. Classification via sliding window

../../Resources/kiee/KIEE.2023.72.11.1434/fig5.png

또한 운동 동작의 정확성 판단 기준은 플렉스 압력센서가 나타내는 팔꿈치와 무릎의 구부림 각도를 고려하여 설계하였다. 의류 일체형 웨어러블 디바이스를 착용한 사용자가 기준 각에 도달하지 못한 채로 해당 동작을 수행하면 횟수에 반영하지 않도록 하였다. 각 동작 별 기준 각도는 표 1과 같다.

표 1. 가이드를 위한 동작별 기준 각도

Table 1. Reference angle by motion for guide

운동 동작

횟수 인정 기준 각도[deg]

덤벨

45 (팔꿈치)

스쿼트

70 (무릎)

런지

55 (무릎)

3. 실험 및 결과

본 논문에서 구성한 의류 일체형 웨어러블 디바이스는 상체부 기준으로 등, 왼팔 상완, 오른팔 상완에 MPU6050 IMU를 각 1개, 양 팔 팔꿈치에 각각 플렉스 압력 센서를 3개씩 배치되어 있다. 하체부 또한 허리, 양쪽 허벅지 앞부분에 MPU6050 IMU를 1개씩, 양쪽 무릎부분에 관절 당 3개의 플렉스 압력센서가 배치되어 있다. 플렉스 압력센서는 SZH-SEN01 제품을 이용하였으며, 착용 뒤틀림 및 사용자에 따른 오차를 최소화하기 위해 팔꿈치와 푸름에 각각 3개씩 장착하였다.

각 센서들은 상체부와 하체부로 나뉘어 2개의 아두이노 Due보드에 연결시켰다. MPU6050은 I2C 통신, 플렉스 압력센서는 아날로그 입력을 통해 데이터를 수신하도록 처리하였다. Due 보드는 PC와의 serial 통신으로 MATLAB 환경에 센서 데이터를 전송하며. 사용자의 움직임을 실시간으로 나타낼 수 있도록 구성하였다.

실험 결과 시작 자세에선 캘리브레이션의 효과로 인해 오차가 거의 없음을 그림 6-1그림 6-3을 통해 확인할 수 있었다. 하지만 반복된 동작 후엔 착용 위치의 변화 및 IMU 특성에 의해 드리프트가 발생하는 것을 확인하였다. 특히 그림 6-2는 덤벨 동작에서 팔을 완전히 굽히지 않았음에도 불구하고 초기 캘리브레이션 된 값 대비 드리프트가 크게 발생하여 팔이 완전히 굽혀진 것으로 나타나는 것을 볼 수 있었다. 드리프트는 운동 반복 횟수에 따라 점차 크게 발생함을 확인하였으며, 이는 연속동작 사이에 정자세를 유지하면 다시 캘리브레이션을 해주는 과정을 추가하여 해결할 수 있었다. 이를 위해 동작분류에서 nothing이라는 class를 추가하였다.

정확하게 자세를 취할 수 있는 임의의 사용자 데이터 기반으로 학습된 네트워크를 이용해 다른 사용자가 각 동작 별로 20회씩 운동 동작을 수행하였다. 그 결과를 기반으로 작성된 confusion matrix는 다음과 같다.

그림. 6-1. 모션캡쳐 plot

Fig. 6-1. Motion capture plot

../../Resources/kiee/KIEE.2023.72.11.1434/fig6.png

그림. 6-2. 모션캡쳐 plot

Fig. 6-2. Motion capture plot

../../Resources/kiee/KIEE.2023.72.11.1434/fig7.png

그림. 6-3. 모션캡쳐 plot

Fig. 6-3. Motion capture plot

../../Resources/kiee/KIEE.2023.72.11.1434/fig8.png

표 2. 동작분류 실험 결과 confusion matrix

Table 2. The confusion matrix prepared based on the results

Predict class

Nothing

Lunge

Squat

Burpee

Dumbbell

Twist

Actual

Nothing

20

0

0

0

0

0

Lunge

0

15

3

0

0

2

Squat

0

4

15

0

0

1

Burpee

0

0

0

20

0

0

Dumbbell

0

0

0

0

20

0

Twist

0

4

2

0

0

14

각 클래스마다 20개의 데이터로 테스트를 진행한 결과 정확도 (Accuracy) 면에서 86.67%의 수치를 보였으며 f1-score는 0.869로 계산되었다. 특히 오분류가 많이 된 동작은 런지와 스쿼트로 나타났다. 런지와 스쿼트의 경우 상체의 동작은 동일하고, 하체의 구부림만 다르게 구성된 동작으로 다른 동작 대비 유사도가 높은 동작이기 때문에 분류 오차가 큰 것을 확인할 수 있다. 트위스트 동작의 경우 다른 동작 대비 상체 회전이 많은 동작으로, 반복된 동작 시 착용한 센서의 비틀어짐이 많이 발생하여 큰 오차를 나타낸 것으로 확인할 수 있었다.

4. 결 론

본 연구에서는 저가형 IMU 6개와 플렉스 압력 센서 12개를 이용해 사람의 모션캡처 및 운동 동작 분류 기법을 제시하였다. 전이 학습을 이용하여 적은 데이터셋을 기반 알고리즘을 구성하였음에도 불구하고 활용 가능한 정도의 정확도로 사용자의 운동을 도울 수 있는 시스템을 구성할 수 있었다. 하지만 모션캡쳐의 경우 반복된 동작으로 인한 옷의 뒤틀림과 관성센서의 드리프트가 발생했을 때 회복할 수 없는 상황이 종종 발생하였다. 이러한 점들을 개선하기 위해 향후 연구에서는 다양한 사용자로부터 다량의 데이터를 축적해 다른 방식의 인공지능 판별 기법을 고안하여 동작분류의 정확성을 높일 예정이다. 또한 자연스러운 움직임 모사를 위해 시계열 데이터 처리 딥러닝 또는 광학식 모션캡쳐 기법과의 융합을 통한 알고리즘을 구성할 계획이다.

향후 현재 개발 중인 IMU 대비 훨씬 저렴한 플렉스 압력센서와 결합하게 된다면 카메라 없이 실내외 구분 없이 공간제약을 받지 않으며 사용자의 현재 동작상태를 분류하고 운동을 코칭해 줄 수 있는 시스템을 저렴하게 구현할 수 있을 것으로 기대한다.

Acknowledgements

이 논문은 인천대학교 2022년도 자체연구비 지원과 2022년도 정부(산업통상자원부)의 재원으로 한국산업기술평가관리원의 지원을 받아 수행된 연구임(No.20020741, 22kW급 고출력밀도 LDC 통합 양방향 차량용 충전기 개발)

References

1 
A. Ancans, M. Greitans, R. Cacurs, B. Banga, A. Rozentals, 2021, Wearable Sensor Clothing for Body Movement Measurement during Physical Activities in Healthcare, Sensors, Vol. 21, No. 206, pp. -DOI
2 
Sheikh MA. Iqbal, 2021, Advances in Healthcare Wearable Devices, NPJ Flexible Electronics, Vol. 5, No. 1, pp. 9-DOI
3 
H. Ceren. Ates, 2021, Wearable Devices for the Detection of COVID-19, Nature Electronics, Vol. 4, No. 1, pp. 13-14DOI
4 
Suranga. Seneviratne, 2017, A Survey of Wearable Devices and Challenges, IEEE Communications Surveys & Tutorials, Vol. 19, No. 4, pp. 2573-2620DOI
5 
Guorui. Chen, 2021, Electronic Textiles for Wearable Point-of-Care Systems, Chemical Reviews, Vol. 122, No. 3, pp. 3259-3291DOI
6 
Matteo. Menolotto, 2020, Motion Capture Technology in Industrial Applications: A Systematic Review, Sensors, Vol. 20, No. 19, pp. 5687-DOI
7 
Gutemberg. Guerra-Filho, 2005, Optical Motion Capture: Theory and Implementation, RITA, Vol. 12, No. 2, pp. 61-90DOI
8 
Alexander M. Aurand, Jonathan S. Dufour, William S. Marras, 2017, Accuracy Map of an Optical Motion Capture System with 42 or 21 Cameras in a Large Measurement Volume, Journal of Biomechanics, Vol. 58, pp. 237-240DOI
9 
Irvin Hussein. Lopez-Nava, Angelica. Munoz-Melendez, 2016, Wearable Inertial Sensors for Human Motion Analysis: A Review, IEEE Sensors Journal, Vol. 16, No. 22, pp. 7821-7834DOI
10 
Armands. Ancans, 2021, Wearable Sensor Clothing for Body Movement Measurement during Physical Activities in Healthcare, Sensors, Vol. 21, No. 6, pp. 2068-DOI
11 
Michael B. Del Rosario, Nigel H. Lovell, Stephen J. Redmond, 2016, Quaternion-Based Complementary Filter for Attitude Determination of a Smartphone, IEEE Sensors Journal, Vol. 16, No. 15, pp. 6008-6017DOI
12 
Bohan Shi, 2020, Convolutional Neural Network for Freezing of Gait Detection Leveraging the Continuous Wavelet Transform on Lower Extremities Wearable Sensors Data, 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)DOI
13 
Karthikeyan Umapathy, Sridhar Krishnan, 2006, Modified Local Discriminant Bases Algorithm and Its Application in Analysis of Human Knee Joint Vibration Signals, IEEE Transactions on Biomedical Engineering, Vol. 53, No. 3, pp. 517-523DOI
14 
Sinno Jialin Pan, Qiang Yang, 2010, A Survey on Transfer Learning, IEEE Transactions on Knowledge and Data Engineering, Vol. 22, No. 10, pp. 1345-1359DOI
15 
Christian Szegedy, 2016, Rethinking the Inception Architecture for Computer Vision, Proceedings of the IEEE Conference on Computer Vision and Pattern RecognitionDOI

저자소개

배문규 (Munkyu Bae)
../../Resources/kiee/KIEE.2023.72.11.1434/au1.png

He received the B.S degree in Electrical Engineering from Incheon National University, South Korea in 2022.

Currently, he is pursing M.S degree in the same institution.

His research interest include machine learning, optimal control, autonomous vehicle, SLAM, 3D perception.

김건태 (Guntae Kim)
../../Resources/kiee/KIEE.2023.72.11.1434/au2.png

He received the B.S degree in Electrical Engineering from Incheon National University, South Korea in 2023.

Currently, he is pursing the combined Masters and PhD degree in the same institution.

His research interest include optimal control, linear control, data driven modeling, autonomous vehicle, SLAM, path planning.

박이형 (Yi-Hyeong Park)
../../Resources/kiee/KIEE.2023.72.11.1434/au3.png

He received the B.S degree in Computer Science from Bachelor's Degree Examination for Self-Education.

Currently, he is pursuing the B.S degree in Embedded System engineering from Incheon National University.

His research interest include intelligent automation, autonomous robotics, signal pattern recognition.

강창묵 (Chang Mook Kang)
../../Resources/kiee/KIEE.2023.72.11.1434/au4.png

He received the B.D and Ph.D degrees in Electrical Engineering from Hanyang University, Seoul, South Korea, in 2012 and 2018 respectively.

He was a Senior Engineer with Agency for Defense Development, Daejeon, Korea, from 2018 to 2019.

He is currently an Associate Professor with the Department of Electric Engineering, Incheon National University, Incheon South Korea.

His research interest include linear system, optimal control, autonomous vehicle and artificial intelligent.