4.1 μ κ²½λ§ κ΅¬μ‘° λ° λ°μ΄ν° μ μ²λ¦¬
κ·Έλ¦Ό 4λ λ³Έ μ°κ΅¬μμ μ¬μ©νλ μ κ²½λ§μ μ 체 ꡬ쑰λ₯Ό λνλΈλ€. μ κ²½λ§μ λ‘€, νΌμΉ κ°λλ₯Ό μ
λ ₯μΌλ‘ κ°κ³ , 3κ°μ μ보λͺ¨ν° κ°λλ₯Ό μΆλ ₯μΌλ‘ κ°λλ€. λ,
2κ°μ μλμΈ΅(hidden-layer)μ κ°κ³ μμΌλ©° μλ 1μΈ΅μ λ
Έλ κ°μλ 8κ°, μλ 2μΈ΅μ λ
Έλ κ°μλ 4κ°μ΄λ€.
κ·Έλ¦Ό 4. μ κ²½λ§ κ΅¬μ‘°
Fig. 4. Structure of neural network
μμ§ν λ°μ΄ν°λ₯Ό λͺ¨λΈλ§νκΈ° μν΄μλ μ°κ΅¬μ λͺ©νμ λ§μΆμ΄ λ°μ΄ν°λ€μ λ³κ²½ λλ μΌλ°ννλ μμ
μ κ±°μ³μΌ νλ€. λ€μν μΈλΆμ μμμ μν΄ μνμ μ§
μ₯μΉμ IMU μΌμλ ννν μ§λ©΄μ μλλΌλ λ‘€, νΌμΉ κ°λκ° νμ 0Λλ₯Ό μ μ§ν μ μλ€. λ°λΌμ λͺ¨ν° κ°λ κ°μ λμΌν κ°μΌλ‘ ν΅μΌν μνμμ
λ‘€, νΌμΉ κ°λλ₯Ό μΈ‘μ νμλ€. κ·Έ κ°μ μν κΈ°μ€κ°μΌλ‘ μ€μ νκ³ , roll = $\bar{\theta}_{r}^{m}$, pitch = $\bar{\theta}_{p}^{m}$λ‘
μ μνμλ€. μ΄λ₯Ό μ΄μ©νμ¬ μμ§ν λͺ¨λ λ‘€, νΌμΉμ κ°μ κΈ°μ€κ°κ³Όμ μ€μ°¨($e_{r}^{m}$, $e_{p}^{m}$)λ₯Ό κ³μ°νμκ³ , μμμ μλμ
κ°λ€.
μ¬κΈ°μ, $\theta_{r}^{m}$, $\theta_{p}^{m}$λ κ°κ° λ°μ΄ν° μμ§ λ¨κ³μμ μΉΌλ§ νν°λ₯Ό μ¬μ©νμ¬ μμ§λ λ‘€, νΌμΉκ°μ μ¬μ©νλ€.
첫 λ²μ§Έ λ¨κ³μ μ μ²λ¦¬ κ³Όμ μ κ±°μΉ ν, μ κ²½λ§μ μ
λ ₯μ μ¬μ©λ λ‘€, νΌμΉ λ°μ΄ν°λ μΌμ ν λ²μκ° μ€μ λμ΄ μμ§ μκΈ° λλ¬Έμ νμ€ν(Standard
Scaler)λ₯Ό ν΅ν΄ λ°μ΄ν° νκ· μ 0, νμ€νΈμ°¨λ₯Ό 1λ‘ λ§μΆμ΄ μ κ· λΆν¬λ₯Ό λ°λ₯΄λλ‘ λ§λ λ€. λ°λ©΄μ μΆλ ₯μ μ¬μ©λ μ보λͺ¨ν° 3κ°μ κ°λλ μΌμ ν
λ²μμ λ°λΌ λ°μ΄ν°λ₯Ό μμ§νμμΌλ―λ‘ μ κ·νμ μ’
λ₯ μ€ νλμΈ μ΅λ-μ΅μ μ€μΌμΌλ§(Min-MaxScaling)μ ν΅ν΄ λ°μ΄ν°μ μ΅μκ°κ³Ό μ΅λκ°μ μ΄μ©ν΄
λͺ¨λ κ°μ νΉμ λ²μ(0~1)λ‘ μ κ·ννλ€. μ(6)μ νμ€ν μμμ΄λ€. μ(7)μ μ΅λ-μ΅μ μ€μΌμΌλ§μ λν μμμ΄λ€.
μ¬κΈ°μ, $x$λ μλ³Έ λ°μ΄ν°κ°, $\mu$λ μλ³Έ λ°μ΄ν° νκ· , $\sigma$λ μλ³Έ λ°μ΄ν°μ νμ€νΈμ°¨λ₯Ό λνλΈλ€.
μ¬κΈ°μ, $y$λ μλ³Έ λ°μ΄ν°κ° κ·Έλ¦¬κ³ $y_{\min}$, $y_{\max}$λ κ°κ° μμ§ν λ°μ΄ν°μ μ΅μ, μ΅λκ°μ λνλ΄λ©°, $a$λ μ€μΌμΌλ§
ν λ°μ΄ν°μ μ΅μκ°, $b$λ μ€μΌμΌλ§ ν λ°μ΄ν°μ μ΅λκ°μ΄λ€. $a$λ μΌλ°μ μΌλ‘ 0μ΄κ³ , $b$λ μΌλ°μ μΌλ‘ 1μ΄λ€.
μμ κ°μ λ°μ΄ν° μ μ²λ¦¬λ₯Ό ν΅ν΄ μ κ²½λ§ λͺ¨λΈμ μλ ΄ μλκ° κ°μ λκ³ , κ³Όμ ν©μ΄ λ°©μ§λλ©΄μ λ³΄λ€ μμ μ μΈ νμ΅μ΄ κ°λ₯νλ€[10].
λ³Έ μ°κ΅¬μμλ λͺ¨λΈμ μμ μ μΌλ‘ νμ΅νκ³ κ·Έ μ±λ₯μ νκ°νκΈ° μν΄ νκ· μ κ³±μ€μ°¨(MSE)μ νκ· μ λμ€μ°¨(MAE)λ₯Ό μ¬μ©νλ€. MSEλ μ κ²½λ§μ μμΈ‘κ°κ³Ό
μ€μ κ° μ¬μ΄μ μ°¨μ΄λ₯Ό μ κ³±νμ¬ νκ· μ ꡬνλ κ²μΌλ‘, ν° μ€μ°¨μ λ λμ ν¨λν°(penalty)λ₯Ό λΆμ¬νμ¬ λͺ¨λΈμ΄ ν° μ€μ°¨λ₯Ό μ€μ΄λλ‘ μ λνλ€[11]. μ΄λ μ보λͺ¨ν°μ μ νν κ°λ μ‘°μ μ΄ μꡬλλ μμ© λΆμΌμμ μ€μν μ§νμ΄λ©°, κ·Έ μμμ μ(8)κ³Ό κ°λ€.
μ¬κΈ°μ, $n$μ λ°μ΄ν° μνμ κ°μ, $y_{i}$λ μ€μ λͺ¨ν°μ κ°, $\overline{y}_{i}$λ μ κ²½λ§μ λͺ¨ν° μμΈ‘κ°, $(y_{i}-\overline{y}_{i})^{2}$λ
μμΈ‘κ°κ³Ό μ€μ κ° μ¬μ΄μ μ€μ°¨ μ κ³±μ΄λ€. λ³Έ λ
Όλ¬Έμμ λ°μ΄ν° μν($n$)μ κ°μλ 14,910κ°μ΄λ€.
MSEμ λ€λ₯΄κ² MAEλ μ κ²½λ§μ μμΈ‘κ°κ³Ό μ€μ κ° μ¬μ΄μ μ λ μ°¨μ΄λ₯Ό νκ· νμ¬ λͺ¨λΈμ νκ· μ μΈ μ€μ°¨λ₯Ό μ§κ΄μ μΌλ‘ μΈ‘μ νλ λ°©λ²μ΄λ€. νκ° λ°©λ²μ κ³μ°μμ
μλ μ(9)κ³Ό κ°λ€.
μ¬κΈ°μ, $n$μ λ°μ΄ν° μνμ κ°μ, $y_{i}$λ μ€μ λͺ¨ν°μ κ°, $\hat{y}_{i}$λ μ κ²½λ§μ λͺ¨ν° μμΈ‘κ°, $\left| y_{i}-\hat{y}_{i}\right|$λ
μμΈ‘κ°κ³Ό μ€μ κ° μ¬μ΄μ μ λ μ€μ°¨μ΄λ€.
μ΄ μ§νλ€μ λͺ¨λΈμ μ€μ°¨ ν¬κΈ°μ λΆν¬λ₯Ό μ ννκ² νκ°ν μ μκ² ν΄μ€λ€. MSEλ₯Ό μ£Όμ μμ€ ν¨μλ‘ μ±νν¨μΌλ‘μ¨ ν° μ€μ°¨μ λ°μμ μ΅μννλ λ° μ€μ μ
λμλ€. μΆκ°μ μΌλ‘, MAEλ₯Ό νμ©νμ¬ λͺ¨λΈμ νκ· μ€μ°¨ ν¬κΈ°λ₯Ό λͺ¨λν°λ§ν¨μΌλ‘μ¨ μ€μ μ΄μ νκ²½μμ μ±λ₯μ λ³΄λ€ μ ννκ² νκ°ν μ μλ€.
3.2μ λ°μ΄ν° μμ§μμ μ보λͺ¨ν°μ κ°λμ νλ μ΄νΈ κ°λ λ°μ΄ν°μ λνμ¬ λ°μ΄ν° μ μ²λ¦¬ μ±λ₯μ μμλ³Έλ€. ν 1μ 3μΆ μνμ μ§ μ₯μΉμμμ λ°μ΄ν° μ μ²λ¦¬μ λ°λ₯Έ μ κ²½λ§μ μ±λ₯ μ§νλ₯Ό λνλΈ νμ΄λ€. MSEμ MAE λ νκ° λͺ¨λ μμΈ‘κ°κ³Ό μ€μ κ°μ μ°¨μ΄λ₯Ό λνλ΄λ―λ‘
MSEμ MAE κ°μ΄ μμμλ‘ μ’μ λͺ¨λΈμ΄λΌκ³ ν μ μλ€. ν 1μ 보면 μ μ²λ¦¬λ₯Ό ν λͺ¨λΈμ΄ νμ§ μμ λͺ¨λΈλ³΄λ€ ν¨μ¬ λ μ’μ μ±λ₯μ 보μ΄λ κ²μ μ μ μλ€.
ν 1. λ°μ΄ν° μ μ²λ¦¬ μ 무μ λ°λ₯Έ μ±λ₯ μ§ν
Table 1. Performance metrics with and without data preprocessing
|
|
Non-Preprocessed Model
|
Preprocessed Model
|
|
MSE
|
1.2746042
|
0.0012965
|
|
MAE
|
0.7923347
|
0.0252877
|
4.2 μ κ²½λ§ νμ΅ λ° νμ±ν ν¨μ
μ κ²½λ§ νμ΅μμ μ’μ μ±λ₯μ μ»κΈ° μν΄μλ μ κ²½λ§ νμ΅μ μ§νν λ μ¬λ¬ κ°μ§ μμλ₯Ό κ³ λ €νμ¬μΌ νλ€. μ κ²½λ§ λͺ¨λΈμμ νμ±ν ν¨μλ μ
λ ₯ μ νΈλ₯Ό
λΉμ νμ μΌλ‘ λ³ννμ¬ λ€μ μΈ΅μΌλ‘ μ λ¬νλ μν μ νλ€. μ΄λ λͺ¨λΈμ΄ 볡μ‘ν ν¨ν΄κ³Ό λΉμ ν κ΄κ³λ₯Ό νμ΅ν μ μκ² ν΄μ€λ€. νμ±ν ν¨μκ° μμΌλ©΄,
μ κ²½λ§μ λ¨μν μ ν λͺ¨λΈμ λΆκ³Όνκ² λμ΄ λ³΅μ‘ν λ°μ΄ν° ꡬ쑰λ₯Ό ν¨κ³Όμ μΌλ‘ νμ΅ν μ μλ€. $Re LU$ ν¨μλ κ°μ₯ λ리 μ¬μ©λλ νμ±ν ν¨μ
μ€ νλμ΄λ€. $Re LU$ ν¨μλ λΉμ ν ν¨μλ‘ μ κ²½λ§μ΄ 볡μ‘ν λ°μ΄ν° ꡬ쑰λ₯Ό νμ΅ν μ μκ² νλ€. μ(10)μ $Re LU$ ν¨μμ κ³μ°μμ΄λ€.
$Re LU$ ν¨μλ μμ μ
λ ₯μ 0μΌλ‘ λ§λ€μ΄ μΌλΆ λ΄λ°μ΄ λΉνμ±νλλλ‘ μ λνλ€. μ΄λ λͺ¨λΈμ κ³μ° ν¨μ¨μ±μ λμ΄κ³ κ³Όμ ν©μ λ°©μ§νλ©°, κΈ°μΈκΈ°
μμ€(Vanishing Gradient) λ¬Έμ λ₯Ό μ΄λ μ λ ν΄κ²°ν μ μμ§λ§, μμ μ
λ ₯μ λͺ¨λ 0μΌλ‘ λ³ννκΈ° λλ¬Έμ β$Dead Re LU$β
λ¬Έμ λ₯Ό μ λ°ν μ μλ€[12]. $tanh$ ν¨μλ νμ΄νΌλ³Όλ¦ νμ νΈ ν¨μλ‘ μ
λ ₯ μ νΈλ₯Ό λΉμ νμ μΌλ‘ λ³ννμ¬ β1κ³Ό 1 μ¬μ΄λ‘ μ‘°μ νλ€. $tanh$ ν¨μλ λμΉμ μ΄λ©° νκ· μ΄
0μ κ°κΉμ΄ λΆν¬λ₯Ό λ§λ€μ΄ μ κ²½λ§μ΄ λ°μ΄ν°μ μμ λ° μμ μ 보λ₯Ό λ³΄λ€ ν¨κ³Όμ μΌλ‘ νμ΅ν μ μλλ‘ νλ€[13]. κ·Έλ¬λ μ
λ ₯κ°μ΄ ν¬κ±°λ μμ λ κΈ°μΈκΈ° μμ€ λ¬Έμ κ° λ°μν μ μλ€. $tanh$ ν¨μλ λμΉμ±κ³Ό νκ· μ€μ¬ λΆν¬μ μ΄μ μ μ 곡νμ§λ§ κΈ°μΈκΈ° μμ€
λ¬Έμ λ‘ μΈν΄ κΉμ μ κ²½λ§μμλ λΉν¨μ¨μ μΌ μ μλ€. μ(11)μ $tanh$ ν¨μμ κ³μ°μμ΄λ€.
λν, $Re LU$ ν¨μ μ¬μ© μ λ°μν μ μλ β$Dead Re LU$β λ¬Έμ λ₯Ό μμ κΈ° μνμ¬ $leaky Re LU$ ν¨μλ₯Ό λμ
νμ¬ μ±λ₯μ
λΉκ΅νμλ€. μ(12)λ $leaky Re LU$ ν¨μμ κ³μ°μμ΄λ€.
3μΆ μνμ μ§ μ₯μΉμμ μΈ νμ±ν ν¨μμ μ±λ₯μ λΉκ΅νμλ€. ν 2λ ν 1μμ μ μ²λ¦¬ λ μ κ²½λ§ λͺ¨λΈμμ νμ±ν ν¨μ $Re LU$, $tanh$, $leaky Re LU$ ν¨μλ₯Ό μ¬μ©νμ¬ μ»μ μ±λ₯ νκ° κ²°κ³Όμ΄λ€. κ²°κ³Όλ‘μ,
ν 2λ₯Ό 보면 μ μλ λ¬Έμ μμλ $Re LU$ ν¨μκ° $tanh$ ν¨μλ³΄λ€ λ μ’μ μ±λ₯μ 보μ΄λ©°, $leaky Re LU$ ν¨μμλ μ±λ₯ μ°¨μ΄κ° ν¬μ§
μμμ νμΈ ν μ μλ€. λ°λΌμ, λ³Έ μ°κ΅¬μμλ νμ±ν ν¨μλ‘ $Re LU$ ν¨μλ₯Ό μ¬μ©νλ€.
ν 2. νμ±ν ν¨μ μ±λ₯ μ§ν
Table 2. Performance metrics of activation function
|
|
$tanh$
|
$leaky Re LU$
|
$Re LU$
|
|
MSE
|
0.00111
|
0.00079
|
0.00083
|
|
MAE
|
0.02577
|
0.01885
|
0.02095
|
4.3 μ κ²½λ§ λͺ¨λΈλ§ μ±λ₯νκ°
λ³Έ μ°κ΅¬μμλ 3μΆ μνμ μ§ μ₯μΉμ λ§λ μ΅μ ν μ±λ₯μ μ°ΎκΈ° μν΄ μλμΈ΅μ μμ λ΄λ° μλ₯Ό λ³νμν€λ©° μ κ²½λ§ λͺ¨λΈμ μ±λ₯μ νκ°νμλ€[14]. μμ§ν λ°μ΄ν°λ νλ ¨ λ°μ΄ν° 70%, κ²μ¦ λ°μ΄ν° 15%, ν
μ€νΈ λ°μ΄ν° 15%μ λΉμ¨λ‘ λΆν νμμΌλ©°, νμ΅μ μν¬ν¬(epoch) 150, λ°°μΉ
ν¬κΈ°(batch size) 32λ‘ μ€μ νμλ€. μμ μΈκΈν μμλ€μ κ³ λ €νμ¬ κ° μ κ²½λ§ κ΅¬μ‘°μ μ±λ₯ μ§νλ MSEμ MAEλ₯Ό μ¬μ©νμ¬ νκ°νμλ€.
ν 3μ μ μ²λ¦¬ λ λ°μ΄ν°λ₯Ό μ΄μ©νκ³ νμ±ν ν¨μλ₯Ό $Re LU$ ν¨μλ‘ κ°μ§λ κ°κΈ° λ€λ₯Έ μ κ²½λ§ κ΅¬μ‘°μ λν μ±λ₯ μ§νλ₯Ό 보μ¬μ€λ€. κ·Έλ¦Ό 5μ μ κ²½λ§ κ΅¬μ‘°λ ν3μ NW2μ ν΄λΉνλ€.
ν 3. μ κ²½λ§ κ΅¬μ‘°μ λ°λ₯Έ μ±λ₯ λΉκ΅
Table 3. Performance comparison of Neural Network structure
|
Network
|
NW1
|
NW2
|
NW3
|
NW4
|
NW5
|
|
Neurons in input layers
|
2
|
2
|
2
|
2
|
2
|
|
No of s
|
2
|
2
|
2
|
3
|
3
|
|
Neurons in 1
|
4
|
8
|
128
|
16
|
128
|
|
Neurons in 2
|
4
|
4
|
64
|
8
|
64
|
|
Neurons in 3
|
*
|
*
|
*
|
4
|
32
|
|
Neurons in output layer
|
3
|
3
|
3
|
3
|
3
|
|
MSE
|
0.00109
|
0.00084
|
0.00057
|
0.00060
|
0.00055
|
|
MAE
|
0.02538
|
0.02948
|
0.01597
|
0.01653
|
0.01557
|
ν 3μ μ±λ₯ κ²°κ³Όλ₯Ό 보면 μ κ²½λ§μ ꡬ쑰μ μλμΈ΅μ λ΄λ° μκ° λͺ¨λΈ μ±λ₯μ μν₯μ μ£Όλ κ²μ μ μ μλ€. NW1, NW2, NW3μ μλμΈ΅μ μλ₯Ό 2μΈ΅μΌλ‘
ν λͺ¨λΈμ΄κ³ NW4, NW5λ μλμΈ΅μ μλ₯Ό 3μΈ΅μΌλ‘ ν λͺ¨λΈμ΄λ€. μλμΈ΅μ μλ₯Ό 2μΈ΅μΌλ‘ ν λͺ¨λΈλ€μμ NW3μ΄ κ°μ₯ μ’μ μ±λ₯μ 보μ΄κ³ NW1μ
μ±λ₯μ΄ κ°μ₯ μ’μ§ μλ€. μλμΈ΅μ μλ₯Ό 3μΈ΅μΌλ‘ ν λͺ¨λΈμμλ NW4λ³΄λ€ NW5κ° μ’μ μ±λ₯μ 보μ΄λ κ²μ μ μ μλ€. κ²°κ³Όμ μΌλ‘, 3μΆ μνμ μ§
μ₯μΉ μ κ²½λ§ λͺ¨λΈμ μλμΈ΅ μμ λ΄λ° μμ λ³νμ λ°λΌ λͺ¨λΈμ μ±λ₯μ΄ λ³ννλ€. λ³Έ λ
Όλ¬Έμμλ MCUμ μ±λ₯, λͺ¨λΈμ κ³μ° λΉμ©μ κ³ λ €νμ¬ NW2
λͺ¨λΈμ μ¬μ©νμ¬ μ€νμ μ§ννμλ€.