2.1 Sim-to-Real 기법을 활용한 강화학습 기반 제어기

본 논문에서 제안하는 플랫폼에는 강화학습 기반 제어기가 핵심적인 역할을 수행한다. 강화학습 기반 제어기는 고전적 제어 방식에서 제어 연산을 담당하는 제어기의 역할을 강화학습 에이전트로 대체한 형태를 의미한다^[12].

강화학습에서 사용되는 개념인 에이전트란 강화학습 알고리즘을 구현한 시스템을 말한다. 에이전트는 특정 목적을 갖고 주어진 환경과 상호작용하며 자신의 행동 정책에서 비롯한 동작을 수행하며, 그 결과로 얻어지는 보상을 통해 행동 정책을 개선하는 과정을 반복한다^[13]. 이렇게 완성된 강화학습 기반 제어기는 주어진 환경에서 취득한 데이터를 입력받아 학습된 행동 정책에 따른 최적의 행동인 제어량을 출력하게 된다. 이때, 에이전트와 상호작용이 이루어지는 환경은 주로 실물 시스템을 활용한 물리적 환경, 혹은 시뮬레이션 기반의 가상환경 두 가지로 구성된다.

먼저, 실물 시스템과 직접 상호작용하는 방법은 실물 시스템의 정확한 모델이 필요 없다는 장점이 있다. 하지만, 해당 방식으로 학습을 진행하는 경우, 학습에 요구되는 물리적인 시간이 필요하며, 학습 과정 중 발생하는 시행착오로 인해 안전사고가 발생할 수 있다^[14]. 이는 제한된 시간 내에 안전하게 교육을 진행해야 하는 실습 중심의 교육과정 특성상 해당 방식은 도입되기 어렵다.

따라서, 본 논문에서는 에이전트가 시뮬레이션 환경과 상호작용하는 방식인 Sim-to-Real 학습 기법을 활용한 강화학습 기반 제어기를 사용하고자 한다. 해당 기법은 에이전트와 상호작용하는 환경이 시뮬레이션 환경이 되므로 학습에 걸리는 시간을 크게 줄일 수 있다. 이로 인해, 제한된 교육 환경에서 제어기 설계에 드는 시간적 비용을 크게 줄여 더욱 내실 있는 교육 과정을 구성할 수 있게 된다. 또한, 학습 과정 중 발생할 수 있는 모든 시행착오들이 컴퓨터 시뮬레이션에서 발생하기 때문에, 안전하게 에이전트 학습을 진행할 수 있다. 이를 통해 제한된 교육 시간 내에 안전하게 에이전트의 학습을 마칠 수 있도록 도와준다.

본 논문에서 제안하는 플랫폼의 핵심 요소 중 하나인 강화학습 에이전트를 구현하기 위해서는 Python의 사용이 요구된다. 이는 강화학습 분야를 포함한 인공지능 연구를 수행하기 위해 사용되는 대표적 프레임워크인 PyTorch^[15], Tensorflow^[16]등이 Python으로 만들어졌기 때문이다.

2.2 LW-RCP

Sim-to-Real 기법을 통해 완성된 강화학습 기반 제어기의 동작에 필요한 센서 데이터는 LW-RCP를 통해 획득한다. RCP 시스템은 제어 시스템 엔지니어들이 제어 알고리즘을 빠르고 효율적으로 설계 및 검증하기 위해 사용하는 개발 환경을 의미한다^[17,18].

해당 시스템은 hardware interface를 담당하는 장치와 Simulink에서 사용하는 library block으로 구성되며, 그림 1은 LW-RCP hardware interface 장치의 사진이다. LW-RCP의 hardware interface를 통해 센서에서 관측한 데이터를 PC로 전송할 수 있으며, PC에서 구동되는 Simulink 제어 모델의 연산 결과인 제어량을 실물 시스템의 구동부에 인가할 수 있다. 해당 과정은 high-speed USB통신으로 이루어지며, 최대 2kHz의 샘플링 주파수를 보인다.

교육을 듣는 학생들은 LW-RCP library에서 제공하는 block을 이용하여 하드웨어 접근을 담당하는 알고리즘을 구성하고, Simulink의 ‘matlab function’ block으로 구현된 신경망으로 강화학습 기반 제어기를 구성한다. 센서 데이터 측정과 제어 데이터를 구동부에 적용하는 hardware interface가 필요한 부분은 LW-RCP가 담당하고, Simulink 기반 제어기 모델의 연산은 PC가 담당하는 구조다. LW-RCP와 PC의 동작 원리는 그림 2와 같다.

그림 1. LW-RCP02 hardware 장치

Fig. 1. LW-RCP02 hardware unit

그림 2. LW-RCP의 동작 방식

Fig. 2. Flow chart of LW-RCP operation

그림 3. LW-RCP02 입출력 library block

Fig. 3. Input/Output library block of LW-RCP02

그림 3은 RCP가 제공하는 입출력 library block을 보여준다. 해당 block들은 각각 입출력 기능을 담당하고 있으며, 학생들은 이를 활용하여 하드웨어 접근에 필요한 기능을 손쉽게 만들 수 있다. 좌측 열의 block들은 receive block으로, hardware interface로부터 데이터를 수신하는 기능을 갖고 있다. 우측 열에 위치한 block들은 hardware interface로 데이터를 보내기 위한 Send block들이다. 따라서 LW-RCP를 이용한 제어 알고리즘은 Simulink의 block을 활용하는 방식으로 구현되며, 학생들이 마이크로컨트롤러를 제어하기 위한 code를 만들고 이를 debugging 하는 과정을 없애 제어 알고리즘 구성에만 집중할 수 있는 환경을 제공한다.

2.3 플랫폼 구조

제안하는 교육 플랫폼은 실시간으로 실물 시스템의 데이터 취득 및 전송, 수신 데이터 기반 제어량 연산, 그리고 제어 신호의 입출력을 포함하는 일련의 과정을 구현한다. 이러한 과정은 강화학습 알고리즘을 기반으로 한 에이전트의 생성 및 활용을 목표로 하며, 그림 4의 개념도에 나타난 3가지 시스템의 결합을 통해 이루어진다.

그림 4의 구성도에 따르면, LW-RCP는 센서를 통해 관측한 데이터를 Matlab/Simulink 환경에 전달하고, 동시에 제어 입력을 실물 시스템의 구동기에 인가한다. Matlab/Simulink는 중간에 위치하여 실물 시스템의 실시간 제어 시스템의 역할을 수행한다. Python에서는 강화학습 에이전트의 학습이 이루어지는 시뮬레이션 환경이 구현되어 있으며, 학습 완료된 신경망은 Matlab/Simulink에서 사용 가능한 형식으로 변환되어 강화학습 기반 제어기 구성에 사용된다.

그림 4. 제안하는 플랫폼의 구성도

Fig. 4. Concept diagram of the proposed platform.

Python에서 Sim-to-Real 기법을 통해 학습된 신경망과 실물 시스템 제어기가 구현된 Matlab/Simulink가 통합된 플랫폼을 구성하기 위해 MATLAB에서 제공하는 ‘matlab.engine’과 Python API를 사용한다. 해당 기능은 Matlab의 기능을 Python에서 사용할 수 있도록 Matlab에서 제공하는 기능으로 해당 API를 통해 Python코드 내부에서 Matlab 함수를 호출할 수 있으며, 그 반대의 경우도 가능하다. 또한, Python과 Matlab간의 작업 공간에 서로 접근하여 저장된 변수들을 사용함으로써 더욱 효율적인 개발이 가능해진다. 이를 통해, 본 연구에서는 Python 환경에서 Sim-to-Real 기법으로 학습된 신경망의 파라미터 값인 가중치 값과 편향 값을 Matlab/Simulink 환경에서 사용가능한 파일로 저장한다. 이후 저장된 파라미터 값들은 Matlab/Simulink 환경에서 강화학습 기반 제어기를 구성하는 요소로 사용된다^[12].

상기된 요소들을 결합하여 Python과 Matlab/Simulink가 결합된 형태의 플랫폼의 진행 순서는 다음과 같다. 먼저, Python에서 생성된 강화학습 에이전트는 시뮬레이션 환경에서 학습을 진행하게 된다. 학습 과정은 사용자가 설정한 에피소드의 종단 시간을 넘거나, 미리 설정한 특정 종료 조건에 부합하는 상황이 발생한 경우, 시뮬레이션을 종료한다. 학습이 완료된 에이전트는 자신의 파라미터 값들을 Python API를 통해 Matlab의 작업 공간에 전달한다. 이후 Simulink로 제어 시스템 모델 파일에 전달받은 파라미터들을 매개 변수로 사용한 심층신경망 블록을 구성한다. 심층신경망으로 구현된 강화학습 기반 제어기는 센서 데이터를 활용하여 제어 연산을 수행하고 그 출력으로 제어량을 출력하게 된다. 출력된 제어량은 LW-RCP를 통해 실물 시스템의 구동기에 전달되어 실물 시스템 제어를 수행하게 된다.

3.1 Pendubot의 모델 방정식 유도

2장에서 언급된 Sim-to-Real 학습 기법을 사용하기 위해서는 시뮬레이션 환경에서 사용될 pendubot의 모델 방정식이 요구된다. 따라서, 본 절에서는 pendubot의 수학적 모델 방정식을 유도한다. 그림 5는 pendubot의 기구적 개념도를 나타내며, 그림에서 사용되는 변수들은 SI 단위계를 따르고 있으며, 그림 5에 기술된 변수들의 세부적 의미는 다음과 같다.

그림 5. Pendubot의 기구적 개념도

Fig. 5. Mechanical conceptual diagram of pendubot

$T$는 1단 링크에 가해지는 토크, $m_{1}$, $m_{2}$는 각각 1단 링크와 2단 링크의 질량, $l_{1},\: l_{2}$는 각각 1단 링크와 2단 링크의 회전축으로부터 무게 중심까지의 길이를 나타낸다. $\theta_{1}$는 지면의 법선 방향으로부터 1단 링크의 회전 변위를 의미하며, $\theta_{2}$는 2단 링크가 1단 링크와 이루는 상대적인 회전 변위를 의미한다. $L_{1}$은 1단 링크의 회전축부터 2단 링크의 회전축까지의 길이를 의미한다. $c$는 2단 링크의 회전축에 존재하는 마찰계수를 의미하며, $I_{1},\: I_{2}$는 1단 링크 2단 링크의 관성 모멘트다. $u$는 1단 링크의 각가속도를 의미하며, $i,\: j,\: k$는 1단 링크의 회전축을 중심점으로 한 직각 좌표계의 좌표축들을 의미한다.

여기서 식 (1)을 구성하는 요소는 식 (2)와 같다.

$h_{1}$~$h_{6}$는 다음과 같이 정의되며, $g$는 중력가속도 $9.81[m/s^{2}]$를 나타낸다.

식 (1)을 재배열하면, 식 (4)의 형태로 정리가 가능하다.

이 때, 1단 링크의 각가속도 $\ddot{\theta}_{1}$을 제어입력 $u$로 하는 각가속도 모델을 유도하면 pendubot의 운동방정식을 식 (5)의 형태로 나타낼 수 있다.

이 때, 식 (5)를 바탕으로 구한 운동방정식을 통해 상태변수를 각각 $x_{1}=\theta_{1},\: x_{2}=\theta_{2},\: x_{3}=\dot{\theta}_{1},\: x_{4}=\dot{\theta}_{2}$로 정의하면 최종적으로 pendubot의 모델방정식은 식 (6)과 같은 비선형 상태공간 방정식으로 나타낼 수 있다.

(6)

Pendubot의 모델식은 각 링크의 회전축을 중심으로 한 회전운동만이 발생할 수 있고 그 외의 직선 및 회전운동은 발생하지 않는 것을 가정한다. 모델식에서 고려한 마찰력은 회전속도에 선형적인 관계를 갖는 회전 마찰력만을 가정하며, coulomb 마찰은 고려하지 않는다.

3.2 Pendubot의 균형점

Pendubot은 2개의 링크를 갖는 형태로, 1단 링크와 2단 링크의 회전 변위에 따라 다양한 균형점을 갖는다. 균형점은 2단 링크가 바닥에 늘어진 안정적인 상태와 도립 상태가 있으며, 본 논문에서는 도립 상태의 균형점만을 다룬다. 그 중 1단 링크의 각변위에 따라 $\theta_{1}=0,\: \theta_{1}=-\dfrac{\pi}{6},\: \theta_{1}=\dfrac{\pi}{6}$인 도립 상태의 균형점만을 실험에서 구현한다. 그림 6은 해당 균형점을 시각화한 그림이다.

그림 6. Pendubot 시스템의 균형점

Fig. 6. Equilibrium points of pendubot system.

4.1 시뮬레이션 환경 및 설정

강화학습 에이전트가 학습을 위해 직접 상호작용하는 환경은 3장에 서술한 모델 방정식을 바탕으로 Python상에 시뮬레이션으로 구현하였다. 해당 환경을 구축하는데 사용된 pendubot의 물리적 파라미터는 표 1에 나열되어 있으며, 비선형 상미분 방정식의 해를 구하기 위한 solver는 ode4 Runge-kutta 방법을 선택하였다. 본 시뮬레이션 환경에서 학습을 진행한 강화학습 에이전트는 학습을 완료한 후, 2장에서 언급된 ‘matlab.engine’과 Python API를 활용하여 Matlab/Simulink에서 사용 가능한 형태로 변환되어 강화학습 기반 제어기에 사용된다.

시뮬레이션으로 구동되는 학습 환경에서 한 에피소드의 길이는 10초로 설정되었고, 시뮬레이션은 1ms 주기로 업데이트가 이루어지며, 에이전트는 10ms 마다 상태정보를 관측한다. 따라서 에이전트는 한 에피소드당 환경과 최대 1000번 상호작용을 하게 되고, 매 상호작용 시점의 보상을 바탕으로 자신의 행동 정책을 개선한다. 추가적으로 1000번의 상호작용이 이루어졌거나 1단 링크의 각속도의 절댓값인 $\left |\dot{\theta}_{1}\right |$이 $25 rad/s$을 초과하는 경우 학습이 종료된다. pendubot의 시뮬레이션 환경에서 관측 가능한 상태 정보는 3장에 기술된 비선형 상태방정식에 따라 <$\theta_{1},\: \theta_{2},\: \dot{\theta}_{1},\: \dot{\theta}_{2}$>로 구성된다. 이때 $\theta_{1},\: \theta_{2}$는 보상함수의 원활한 설계를 위해 나머지 연산을 적용하여 $-\pi <\theta <\pi$의 범위로 제한한다. 추가적으로, $\theta_{1},\: \theta_{2}$는 학습 과정에서 정규화와 연속성의 이점을 얻기 위해 $\sin(\theta_{i}),\: \cos(\theta_{i})$의 형태로 재구성한다.

그리고 3장에서 언급한 3가지 균형점을 $\tau\in\left\{-\dfrac{\pi}{6},\: 0,\: \dfrac{\pi}{6}\right\}$로 정의한다. $\tau$의 각 요소는 3개의 균형점과 일대일 대응되며, 해당 값에 따라 에이전트는 자신이 어느 목표 균형점으로 이동해야 하는지 알 수 있게 된다. 결과적으로 강화학습 에이전트가 매 timestep마다 관측하는 재구성된 상태 정보는 <$\sin(\theta_{1}),\: \cos(\theta_{1}),\: \sin(\theta_{2}),\: \cos(\theta_{2}),\: \dot{\theta}_{1},\: \dot{\theta}_{2},\: \tau$>로 구성된 7개의 데이터가 된다. 강화학습 에이전트는 해당 상태 정보를 입력으로 받아 행동 정책에 따른 행동인 제어량을 출력하게 된다. 이때 출력되는 제어량은 모터의 각가속도 값 $u$이며, 실제 시스템 구동기의 한계를 고려하여 $-100<u<100$으로 제한한다.

4.2 강화학습 기반 제어기 구현

4.2.2 보상함수 설계 및 학습 결과

강화학습 에이전트는 환경과 상호작용이 일어나는 순간마다 그 시점의 보상에 기반하여 자신의 행동 정책을 개선한다. 이때 보상 값을 산출하기 위해 사용되는 보상함수는 pendubot에 존재하는 이번 실험에 사용될 3개의 균형점(equilibrium point) 중 어떤 균형점에 도달할지에 따라 달라진다. 여기서 균형점은 2단 링크가 바닥으로 늘어진 안정한 균형점과 도립 상태의 균형점이 있으며, 본 실험에서 구현하고자 하는 균형점은 도립 상태의 균형점이다.

표 3은 목표 균형점을 나타내는 값인 $\tau$에 따라 달라지는 각 링크의 각도 $\theta_{i}^{*}$를 나타내고, 보상함수는 식 (7)의 형태로 나타낸다.

표 3 목표 균형점에 따른 각 링크의 각도

Table 3 Each link’s angle according to target equilibrium point

$\tau$	target angle
	$\theta_{1}^{*}$	$\theta_{2}^{*}$
$-\dfrac{\pi}{6}$	$-\dfrac{\pi}{6}$	$\dfrac{\pi}{6}$
$0$	$0$	$0$
$\dfrac{\pi}{6}$	$\dfrac{\pi}{6}$	$-\dfrac{\pi}{6}$

(7)

$R_{\theta_{1}}=0.5+0.5*\cos(\theta_{1}-\theta_{1}^{*})\\R_{\theta_{2}}=0.5+0.5*\cos(\theta_{2}+\theta_{2}^{*})\\R_{\dot{\theta_{1}}}=\exp(-0.1*\left |\dot{\theta}_{1}\right |)\\R_{\dot{\theta_{2}}}=\exp(-0.1*\left |\dot{\theta}_{2}\right |)\\R_{u}=\exp(-0.003 | u |)$

최종적인 보상 함수는 각 요소를 모두 곱한 형태로 표현된다.

(8)

$Reward=R_{\theta_{1}}R_{\theta_{2}}R_{\dot{\theta_{1}}}R_{\dot{\theta_{2}}}R_{\tau}$

보상함수를 이루는 각각의 요소는 그림 7에서 확인할 수 있으며, 모든 요소들은 [0, 1]의 값으로 정규화 되어있다. 따라서 해당 요소들의 곱들로 이루어진 $Reward$ 또한 [0, 1]의 값을 가지게 된다. 이때 한 에피소드는 최대 1000개의 timestep으로 이루어져 있으므로, 한 에피소드에서 얻을 수 있는 최대 보상은 1000이 된다. 이때, 도달하고자 하는 균형점의 각도에 따라 변하는 값인 $\tau$에 따라 변하는 값인 $\theta_{i}^{*}$를 포함하지 않는

그림 7. 보상함수 그래프

Fig. 7. Reward function graph

그림 8. 학습 결과 그래프

Fig. 8. Learning results graph

$R_{\dot{\theta}_{1}},\: R_{\dot{\theta}_{2}}$는 0에 수렴할수록 보상이 증가하는 형태를 갖도록 한다. 이를 통해 pendubot은 균형점에 최소한의 움직임을 갖도록 하여 최소의 제어량을 갖도록 한다. $\theta_{i}^{*}$에 따라 보상이 달라지는 $R_{\theta_{1}},\: R_{\theta_{2}},\: R_{\tau}$는 목표한 균형점에 가까울수록 높은 보상을 받는다. 이를 통해 에이전트는 상태 변수 $\tau$로 결정되는 목표 균형점에 도달하기 위해 자신의 행동 정책을 개선한다. 그림 8은 앞서 설명된 조건에서 매 에피소드마다 $\tau$값에 변화를 주며 반복적인 학습을 진행한 결과다.

4.3 실험 환경

제안하는 플랫폼의 효용성을 검증하기 위한 실험은 다음과 같다. 먼저, pendubot이 $\theta_{1}=0$인 균형점으로 이동하는 swing-up 제어를 수행한 뒤, 차례대로 $\theta_{1}=-\dfrac{\pi}{6}$, $\theta_{1}=\dfrac{\pi}{6}$인 균형점으로 이동하는 천이제어를 수행한다. 마지막으로 $\theta_{1}=0$인 균형점에서 외란을 인가해 2단 링크가 균형점을 이탈했을 때, 원래의 균형점으로 돌아오는 Recovery 특성^[13]을 확인한다.

그림 9는 플랫폼의 효용성 검증 실험인 pendubot 제어 실험을 위한 Simulink 모델이며, 그림 10은 hardware interface 기능을 LW-RCP의 library block으로 구현한 모습이다.

그림 9. Pendubot 시스템 제어 실험 Simulink 모델

Fig. 9. Pendubot system control experiment Simulink model

그림 10. Hardware interface Simulink 모델

Fig. 10. Hardware interface Simulink model

강화학습 기반 제어기는 matlab function block으로 구현되었으며, 이는 학생들이 사용할 수 있도록 library block의 형태로 제공된다. 해당 제어기는 pendubot의 4가지 상태변수, 목표 균형점, 제어량을 입력으로 받는다. 모든 상태변수 값들은 그림 10의 receive block을 통해 수집되며, 목표 균형점은 사용자의 직관적인 이해를 위해 60분법으로 표현된 각도를 호도법으로 변환하여 입력된다. 제어기는 입력된 정보들을 바탕으로 1단부 링크의 회전 각가속도인 $\ddot{\theta}_{1}$을 출력하며, 이는 적분되어 구동부 모터의 속도 지령치로 사용된다. 구동부 모터는 PI 속도 제어기를 통해 제어되며, 모터 구동을 위한 PWM 신호는 그림 10의 Send block을 통해 출력된다.

4.4 실험 결과

그림 11은 pendubot 제어 실험의 결과를 보여주는 연구실 Youtube 영상의 일부다. 실제 Youtube 영상의 주소는https://youtu.be/G9ik_Ha4E70 이다. (영상 제목 : Sim-to-real reinforcement learning control of a pendubot, Channel 이름: Embedded Control Lab.) 그림 12는 4.3절에서 언급된 swing-up 및 천이 제어, Recovery 특성에 관한 실험 결과를 그래프로 나타낸 것이다. 그래프의 x축은 시간을, y축은 각각 $\theta_{1},\: \theta_{2}$를 나타낸다. swing-up 및 천이제어 실험에서는 강화학습 기반 제어기가 pendubot이 목표 균형점으로 이동하도록 swing-up과 천이제어를 수행하며, 평균적으로 $0.02[rad]$의 오차를 가지는 것을 확인할 수 있다. 그림 12에서 점선으로 표기된 시점은 외란이 가해진 순간을 나타내며, 실험 시작 후 약 17초경에 외란을 인가한다. 외란이 가해진 이후, 강화학습 기반 제어기가 $\theta_{1}=0$인 균형점으로의 swing-up 제어를 시도하여 목표 균형점으로 회복하는 Recovery 특성을 확인할 수 있다. 영상과 그래프를 통해 확인할 수 있듯 다양한 실험을 손쉽게 수행할 수 있었으며, 강화학습 기반 제어기의 Recovery 특성을 직접 확인할 수 있었다. 이를 통해, 제안한 플랫폼의 효용성을 검증할 수 있었다.

그림 11. 실험 과정을 보여주는 Youtube 영상

Fig. 11. Youtube video for the experiment

그림 12. Pendubot 제어 실험 결과

Fig. 12. Result of pendubot control experiment